请教各位老师关于数据精度的问题
我是新手,现学的vb完成老板的一些要求。现在的主要问题,在下面的这条语句中, 乘以(10 ^ -8),这一项后,t_time1 的值就变为0了。
其中CVar(mReadBuf.mBuff(6) & mReadBuf.mBuff(7) & mReadBuf.mBuff(8))这一项 是一6位的16进制数,HEX_to_DEC函数将其转换为10进制。
请教各位老师,如何解决这一问题呢?
t_time1 = HEX_to_DEC(CVar(mReadBuf.mBuff(6) & mReadBuf.mBuff(7) & mReadBuf.mBuff(8))) * 5 * (10 ^ -8)