| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 409 人关注过本帖
标题:求教数值计算的精确度问题
只看楼主 加入收藏
fdxxhjc
Rank: 1
等 级:新手上路
帖 子:305
专家分:0
注 册:2014-4-10
结帖率:73.44%
收藏
已结贴  问题点数:20 回复次数:4 
求教数值计算的精确度问题
我有一个原表.dbf,内有一个字段(变量),这个字段下有512条记录,分别计算这512条记录的一次的和,二次和以及三次的和,这三个和求下来一次、二次的值与软件maple计算的结果一致,但三次和的值两者不一样,并用其他软件验证后是maple软件计算的结果是正确的,而VFP的结果是个近似值,请教这样不是vfp的计算结果最近会有误差了吗
VFP单独验证包.zip (147.33 KB)
搜索更多相关主题的帖子: 记录 软件 
2015-03-18 16:12
吹水佬
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
等 级:版主
威 望:451
帖 子:10607
专家分:43186
注 册:2014-5-20
收藏
得分:10 
整数的最小值                                -2,147,483,647
整数的最大值                                2,147,483,647
在数字计算中精确的位数                      16

?INT(10^13+1)
?TRANSFORM(INT(10^13+1))

?INT(10^14+1)
?TRANSFORM(INT(10^14+1))
2015-03-18 16:53
sdta
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:江苏省连云港市
等 级:版主
威 望:335
帖 子:9841
专家分:27213
注 册:2012-2-5
收藏
得分:10 
可用字符处理的方法解决问题,下面的这个帖子对你可能有所帮助
https://bbs.bccn.net/viewthread.php?tid=441567&highlight=%CF%D4%CA%

坚守VFP最后的阵地
2015-03-18 18:29
hu9jj
Rank: 20Rank: 20Rank: 20Rank: 20Rank: 20
来 自:红土地
等 级:贵宾
威 望:400
帖 子:11857
专家分:43421
注 册:2006-5-13
收藏
得分:0 
不光是VFP会有计算误差,EXCEL也会有计算误差。严格地说,由于记录数值的字节数限制,任何语言都有可能出现计算误差,都会受到精确度影响。

活到老,学到老!http://www.(该域名已经被ISP盗卖了)E-mail:hu-jj@
2015-03-18 20:20
fdxxhjc
Rank: 1
等 级:新手上路
帖 子:305
专家分:0
注 册:2014-4-10
收藏
得分:0 
回复 4楼 hu9jj
是的,excel的误差还来得更早些
2015-03-18 22:32
快速回复:求教数值计算的精确度问题
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.031268 second(s), 9 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved