| 网站首页 | 业界新闻 | 小组 | 威客 | 人才 | 下载频道 | 博客 | 代码贴 | 在线编程 | 编程论坛
欢迎加入我们,一同切磋技术
用户名:   
 
密 码:  
共有 421 人关注过本帖
标题:请教各位老师关于数据精度的问题
只看楼主 加入收藏
雨初飞雪
Rank: 1
等 级:新手上路
帖 子:13
专家分:0
注 册:2008-5-21
结帖率:0
收藏
 问题点数:0 回复次数:0 
请教各位老师关于数据精度的问题
我是新手,现学的vb完成老板的一些要求。
现在的主要问题,在下面的这条语句中, 乘以(10 ^ -8),这一项后,t_time1 的值就变为0了。
其中CVar(mReadBuf.mBuff(6) & mReadBuf.mBuff(7) & mReadBuf.mBuff(8))这一项 是一6位的16进制数,HEX_to_DEC函数将其转换为10进制。
请教各位老师,如何解决这一问题呢?

 t_time1 = HEX_to_DEC(CVar(mReadBuf.mBuff(6) & mReadBuf.mBuff(7) & mReadBuf.mBuff(8))) * 5 * (10 ^ -8)
搜索更多相关主题的帖子: 老师 数据 精度 
2010-11-24 11:03
快速回复:请教各位老师关于数据精度的问题
数据加载中...
 
   



关于我们 | 广告合作 | 编程中国 | 清除Cookies | TOP | 手机版

编程中国 版权所有,并保留所有权利。
Powered by Discuz, Processed in 0.016218 second(s), 9 queries.
Copyright©2004-2024, BCCN.NET, All Rights Reserved