rounding-error

rounding-error

文章 0 浏览 6

有没有办法在 Javascript 中截断科学记数法数字?

众所周知,因为它是 SO 上最受关注的主题之一,所以我遇到了舍入错误的问题(这实际上不是错误,我很清楚)。 我不会解释我的观点,而是举例说明我可…

沐歌 2024-10-14 16:19:41 14 0

sprintf 中 Windows 与基于 Unix 的系统的舍入差异

我在基于 UNIX 的系统上遇到问题 sprintf 无法正确舍入值。 例如 double tmp = 88888888888885.875 char out[512]; ,88,888,888,888,885.875 只是为…

月野兔 2024-10-11 06:32:06 17 0

有效减少重复运算带来的舍入误差影响

我最近刚刚遇到了用于最小化舍入的Kahan(或补偿)求和算法,我想知道是否有等效的除法和/或乘法以及减法算法(如果恰好有,我知道结合性)。任何语言…

多孤肩上扛 2024-09-18 22:49:36 15 0

避免 Convert.tosingle 方法中的舍入

考虑一下, object a =1.123456; float f = convert.ToSingle(a); 但是当我打印 f 的值时,我得到 1.123455。 它正在四舍五入。 另外问题是我无法更改…

很快妥协 2024-09-15 09:09:15 11 0

检测从双精度转换为浮点时的精度损失

我正在编写一段代码,其中必须将双精度值转换为浮点值。我正在使用 boost::numeric_cast 进行此转换,这将提醒我任何溢出/下溢。不过,我也有兴趣知道…

禾厶谷欠 2024-09-09 03:43:06 17 0

使用小数估计计算误差

目前,我们正在开发的 .NET 应用程序中使用 System.Decimals 来表示数字。我知道小数的设计是为了最大限度地减少因舍入而产生的误差,但我也知道某些…

仅一夜美梦 2024-09-08 15:15:07 17 0

2005 年和 2000 年的 SQL 舍入问题

我在数据库中有一个值为 2.700000002。当我在 SQL SERVER 2005 的 Management studio 中运行查询时,我得到 2.7。但是当我在 SQL SERVER 2000 查询分…

淡紫姑娘! 2024-08-28 18:33:02 18 0

ToString(“f2”) 中的 .NET 舍入错误

您好,我有以下 C# 代码: float n = 2.99499989f; MessageBox.Show("n = " + n.ToString("f2", CultureInfo.InvariantCulture)); 以及 C++ 代码: fl…

猥琐帝 2024-08-18 09:20:31 13 0

用 C++ 表示概率

我试图用 C++ 表示一组简单的 3 个概率。例如:( a = 0.1 b = 0.2 c = 0.7 据我所知概率加起来必须为 1) 我的问题是,当我尝试在 C++ 中将 0.7 表示…

还在原地等你 2024-08-11 18:09:31 17 0

php intval() 和 Floor() 返回值太低?

因为 PHP 中的 float 数据类型不准确,并且 MySQL 中的 FLOAT 比 INT 占用更多空间(并且不准确),所以我总是将价格存储为 INT,在存储之前乘以 100…

桃扇骨 2024-07-18 17:49:40 21 0

如何处理 vb.net 中双打的舍入错误?

我正在尝试使用 vb.net 平衡一组货币值。 这两个值的总计被转换为双精度值。 在某些情况下我遇到舍入错误。 避免这种情况的最佳方法是什么? 有没有一…

半世蒼涼 2024-07-06 14:00:28 15 0

浮点数是如何存储的? 什么时候重要?

在这个问题的后续工作中,似乎有些数字根本无法用浮点数表示,而是近似的。 浮点数是如何存储的? 不同尺寸有共同标准吗? 如果使用浮点,需要注意哪…

晨曦慕雪 2024-07-04 07:20:33 25 0
更多

推荐作者

Promise

文章 0 评论 0

qq_lbRlsh

文章 0 评论 0

待"谢繁草

文章 0 评论 0

yy2010hell

文章 0 评论 0

漫无边际

文章 0 评论 0

傲娇萝莉攻

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文