代码之家 › 专栏 › 技术社区 › Gregoire

linq到sql奇怪的浮点行为

floating-point linq-to-sql c#

Gregoire · 技术社区 · 15 年前

我首先调用一个函数

DataContext.UpdateCategory(theCategorie.Code, theCategorie.Description, theCategorie.TaxRate, theCategorie.TaxCode);

当我运行调试器时,TaxRate的值是

然后,当我在dbml函数中放置一个停止点时,该函数被调用:

 [Function(Name="dbo.UpdateCategory")]
 public int UpdateCategory([Parameter(Name="Code", DbType="VarChar(20)")] string code, [Parameter(Name="Description", DbType="NVarChar(512)")] string description, [Parameter(Name="TaxRate", DbType="Float")] System.Nullable<double> taxRate, [Parameter(Name="TaxCode", DbType="NChar(10)")] string taxCode)
 {
     IExecuteResult result = this.ExecuteMethodCall(this, ((MethodInfo)(MethodInfo.GetCurrentMethod())), uNSPSC, description, taxRate, taxCode);
     return ((int)(result.ReturnValue));
 }

这里的值是 19.6000003814697 . 你看到那个奇怪的加小数了吗?这两个调用之间没有操作,那么为什么会出现这些小数呢?

1 回复 | 直到 11 年前

KristoferA 15 年前

分类税率是浮动的吗?如果是这样,则将浮点赋值为双精度。额外的小数是由于双精度更高,所以双精度最接近浮点的19.6。。。

这篇文章的输出说明了这一点:

float f = 19.6F;
double d = f;
double d2 = 19.6D;

System.Diagnostics.Debug.WriteLine("Float: " + f.ToString());
System.Diagnostics.Debug.WriteLine("Double from float: " + d.ToString());
System.Diagnostics.Debug.WriteLine("Double: " + d2.ToString());

DataContext.UpdateCategory(theCategorie.Code, theCategorie.Description, Math.Round((double)theCategorie.TaxRate, 6), theCategorie.TaxCode);

推荐文章

Rik Bloemers · for循环不接受任何浮点变量

2 年前

Nathan Pierson · 为什么0.125(格式为2位十进制精度)显示“0.12”而不是“0.13”?

3 年前

zell · 为什么存储7个浮点数需要34字节?

3 年前

Atharva Sunil Sathe · 如何删除任意数的小数点?

3 年前

user1658887 · 为什么**2!=a*a一些彩车?

7 年前

Kay · 末位单位定义

7 年前

vApor · 为数据类型分配的默认内存在舍入中起作用吗?如果浮点超过分配的内存,则以何种方式舍入?

7 年前

Caucasian Malaysian · 如何将函数输出转换为数字[重复]

7 年前

Ritielko · 在C中使用rand()生成大量双精度时发生分段错误

7 年前

Some_Dude · x8086组件,将0.0001推到堆栈上成为9.99999。。而不是0.0001

7 年前