floating-point-precision

floating-point-precision

文章 0 浏览 4

Visual Studio 2010 的精度问题

我有一个用 Microsoft Visual C++ 6.0 编写的应用程序。现在我已经使用 C# 在 Visual Studio 2010 中重写了应用程序,但由于精度问题,结果不匹配。此…

猫九 12-21 12:10 0 0

为什么对 Float 调用 to_i 会从值中减一?

我有一个例子,我正在对 Float 对象进行一些数学运算,当我对其调用 to_i 时,它会减一。 value = 0.29 * 100 value.to_i => 28 我知道浮点数是不精确…

画尸师 12-19 20:01 0 0

将 int 类型转换为 float 将 DivideByZeroException 转换为 Infinity

我用 C# 编写了一个简单的 divide 函数: private string divide(int a, int b) { return string.Format("Result: {0}", a / b); } 如您所料,调用 Me…

烟沫凡尘 12-10 08:41 1 0

浮点数中的有效数字和精度损失之间有什么关系?

因此,我一直试图通过头脑来理解浮点数中有效位数与相对精度损失之间的关系,但我似乎无法理解它。之前我读过一篇文章,说要执行以下操作: 将浮点数…

离鸿 11-28 16:11 2 0

python中float的底层数据结构

有一个关于Python中浮点(和精度)的底层数据结构的问题: >>> b = 1.4 + 2.3 >>> b 3.6999999999999997 >>> c = 3.7 >>> c 3.7000000000000002 >>> p…

花辞树 11-24 21:42 1 0

如何在 Forth 中将两个整数相除并得到浮点数结果?

我正在寻找一种能够在单精度和双精度之间转换的方法。 一个示例是将 2 个整数相除并得到浮点结果。这怎么可能?…

醉城メ夜风 11-19 18:39 5 0

释放模式即使对于浮点变量也使用双精度

我的算法正在计算单精度浮点运算的epsilon。应该是 1.1921e-007 左右。代码如下: static void Main(string[] args) { // start with some small magi…

风和你 11-14 13:55 3 0

大量浮点数,无需额外库

我有一个数百位长的浮点值(如 pi - 3 的前 100 位),需要一种对其进行操作的方法。有没有什么方法可以存储和操作具有大量小数的浮点数,并通过内置…

南薇 11-10 12:09 5 0

选择浮点计算模型

我的问题主要是针对科学计算,但我问的是一般情况。在编译器中实际如何选择 fp 模型?例如英特尔有精确、严格、快速、扩展、源、双等。…

半暖夏伤 11-08 01:20 4 0

如何从变量指定浮点小数精度?

我将以下重复的简单代码重复了几次,我想为其创建一个函数: for i in range(10): id = "some id string looked up in dict" val = 63.45689009328409…

所谓喜欢 10-31 00:58 3 0

最大是多少?我应该为浮点数显示多少位小数? (PHP)

我仍然无法得到准确的结果。最大是多少?如果我希望它尽可能准确,我应该显示小数位数? 一些代码(准备复制粘贴和测试): // Test with 5 decimals …

怕倦 10-04 12:38 6 0

Euler #26,如何以更高的精度将有理数转换为字符串?

我想获得更精确的 1/7 ,但它被截断了。有理数转换时如何获得更好的精度? >>> str(1.0/7)[:50] '0.142857142857' …

呆萌少年 08-11 03:02 8 0

Objective-C 中的浮动问题

我有一个小问题,但找不到解决方案! 我的代码是(这只是示例代码,但我的原始代码做了类似的事情): float x = [@"2.45" floatValue]; for(int i=0;…

纵性 07-30 06:44 12 0

cout 可以以某种方式改变变量吗?

所以我有一个看起来像这样的函数: float function(){ float x = SomeValue; return x / SomeOtherValue; } 在某些时候,这个函数会溢出并返回一个非…

挽清梦 07-04 11:52 14 0
更多

推荐作者

情深如许

文章 0 评论 0

小镇女孩

文章 0 评论 0

见鹿。

文章 0 评论 0

atoothache

文章 0 评论 0

github_Ya3wWzbdC

文章 0 评论 0

我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文