| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 995 人关注过本帖
标题:数据精度的问题
只看楼主 加入收藏
wangfuli
Rank: 4
等 级:贵宾
威 望:12
帖 子:206
专家分:10
注 册:2005-11-11
收藏
 问题点数:0 回复次数:5 
数据精度的问题

我在做数学计算时公式是这样的csng(textbox1.text)-csng(textbox2.text),我输入12.33和12,为什么得出的结果却是0.32999999,却不是0.33,为什么用csng(textbox1.text-textbox2.text)得出的结果就是0.33了,为什么了;同样这两个式子用double类型:cdbl(textbox1.text)-cdbl(textbox2.text)和cdbl(textbox1.text-textbox2.text)算出的结果却是一样的,都是0.33,这又为什么了?
还有single在保持小数点后3位,最大可以多大,double在保持小数点后6位最大是多少

[此贴子已经被作者于2006-11-13 20:17:44编辑过]

搜索更多相关主题的帖子: 精度 数据 
2006-11-11 23:55
xinsheng
Rank: 2
等 级:论坛游民
帖 子:43
专家分:15
注 册:2006-6-28
收藏
得分:0 

看不懂.
你应该把"这是为什么"改一下.否则一般的人都不会来的


2006-11-13 17:56
bygg
Rank: 16Rank: 16Rank: 16Rank: 16
来 自:乖乖的心中
等 级:版主
威 望:241
帖 子:13555
专家分:3076
注 册:2006-10-23
收藏
得分:0 
因为系统会取和你这个数值最接近的的个大约数。
如果你的数值越大,效果就会越明显。

飘过~~
2006-11-13 19:53
wangfuli
Rank: 4
等 级:贵宾
威 望:12
帖 子:206
专家分:10
注 册:2005-11-11
收藏
得分:0 

不应该出现益处的情况了,12和12.33那么小,怎么会出现益处了,


2006-11-14 07:21
wangfuli
Rank: 4
等 级:贵宾
威 望:12
帖 子:206
专家分:10
注 册:2005-11-11
收藏
得分:0 

有人知道这个问题吗,不要吝啬与知识了,共享一下了
小弟先谢了


2006-11-14 19:52
bygg
Rank: 16Rank: 16Rank: 16Rank: 16
来 自:乖乖的心中
等 级:版主
威 望:241
帖 子:13555
专家分:3076
注 册:2006-10-23
收藏
得分:0 

首先说这不是数据溢出的问题。


飘过~~
2006-11-14 21:49
快速回复:数据精度的问题
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.022026 second(s), 7 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved