苏洋博客
网站首页
工作生活
编程记录
知识地图
文章存档
关于苏洋
关于本站
GitHub
折腾笔记
联系作者
文章列表
Tag: # 算数精度
[vb]算数精度
2009年04月19日
Visual Basic
,
算数精度
VB 算术精度问题源于浮点数在二进制中的表示限制。Single 类型累加 0.01 时,因无法精确表示十进制小数,产生累积舍入误差,导致 100 次累加结果显为 1.009999 而非 1.01。浮点数比较不可直接用等号,应改用差值容差判断,如判断两数差值绝对值小于 1e-6 即认为相等。
阅读全文