precision

precision

文章 0 浏览 2

构造精度高于毫秒的日期时间的更好方法

我刚刚经历了一个出乎意料的复杂过程来定义日期时间。 底层数据的精度优于毫秒。 我最终构造了一个精确到秒的中间日期时间,以刻度为单位读取其值(10…

沐歌 2024-08-06 16:51:04 2 0

使用 Java 更好地逼近 e

我想将 e 的值近似到任何所需的精度。最好的方法是什么?我能得到的最多的是 e = 2.7182818284590455。任何有关修改以下代码的示例将不胜感激。 publi…

如日中天 2024-08-06 02:32:24 2 0

可变精度百分比

我想显示一个保留三位小数的百分比,除非它大于 99%。然后,我想显示包含所有可用的 9 加上 3 个非 9 个字符的数字。 我怎样才能用Python写这个? "%.…

小ぇ时光︴ 2024-08-06 02:23:52 2 0

.NET 中定时器的最大精度是多少?

我想知道 System.Timers 中 Timer 类的精度是多少,因为它是双精度的(这似乎表明您可以有毫秒的分数)。它是什么?…

眼眸里的快感 2024-08-06 01:39:12 1 0

为什么在 Java 中存储为 float 和 double 的相同值之间存在差异?

我期望生成以下代码:“两者相等”,但我得到“两者不相等”: float a=1.3f double b=1.3 if(a==b) { System.out.println("Both are equal") } else{…

夜无邪 2024-08-05 21:05:12 5 0

GPU 上的高精度数学

我有兴趣使用 HLSL 在 GPU 上实现算法,但我主要关心的问题之一是我想要可变的精度级别。是否有可以在 GPU 上实现的模拟 64 位及更高精度的技术。 谢…

拥抱影子 2024-08-05 14:36:25 1 0

如何修复此 MSS 2008 BULK INSERT 日期时间精度错误?

MS SQL Server 2008 BULK INSERT 到日期时间列会在秒部分的小数点后第三位引入错误:输入文件中的 2009-09-19 15:02:41.328 变为 2009-09-19 15:02:41…

醉城メ夜风 2024-08-05 09:27:36 1 0

C#中的Double类型精度不是15位吗?

我正在测试 脑筋急转弯: 中的代码 double d1 = 1.000001 double d2 = 0.000001 Console.WriteLine((d1 - d2) == 1.0) ,结果是“False”。当我更改数…

硪扪都還晓 2024-08-04 08:57:01 2 0

使用双精度值进行计算时什么时候会遇到问题?

想象一下我编写了一个简单的计算器应用程序,它只计算简单的东西,例如 1.5 + 30 + 9755 - 30 - 20000 + 999900.54 我记得使用浮点数时存在一些精度问…

终止放荡 2024-08-02 20:18:35 2 0

gcc精度错误?

我只能假设这是一个错误。第一个断言通过,而第二个断言失败: double sum_1 = 4.0 + 6.3 assert(sum_1 == 4.0 + 6.3) double t1 = 4.0, t2 = 6.3 dou…

梦里泪两行 2024-08-02 13:27:46 2 0

VBScript 中的 Now() 准确性

当以 CDbl(Now()) 形式调用时,VBScript 中的 Now() 似乎以 10,000,000 秒精度返回时间。 尝试使用它来编写更准确的 now 实现,返回 CIM_DATETIME 格…

内心激荡 2024-08-01 16:59:34 2 0

在 LINQ 中确定具有分钟精度的日期时间值的相等性

我需要使用分钟精度比较两个日期时间值以确定相等(完全相同)。这是最好的方法吗? 我的日期可能有秒和毫秒,但我只想考虑到分钟。 where (Math.Abs(…

从此见与不见 2024-08-01 15:04:34 3 0

计算圆形数量级

对于一个简单的项目,我必须使大数字(例如 4294967123)可读,因此我只写带有前缀的前几个数字(4294967123 -&gt 4.29G,12345 -&gt 12.34K 等) 代…

徒留西风 2024-07-30 06:02:00 1 0

托管 C++ 中的 double.Parse 问题

我在解析托管 C++ 中的双精度值时遇到一个奇怪的问题。 可能是我做错了什么。 当我这样做时: double value = 0.006 result = Math::Parse( value) 结…

瘫痪情歌 2024-07-30 05:56:54 3 0

c printf %f 默认精度是多少?

我很好奇: 如果你执行 printf("%f", number) 语句的精度是多少? 即会显示多少位小数? 这个编译器依赖吗?…

戴着白色围巾的女孩 2024-07-29 21:42:41 2 0
更多

推荐作者

不再见

文章 0 评论 0

真是无聊啊

文章 0 评论 0

樱娆

文章 0 评论 0

浅语花开

文章 0 评论 0

烛光

文章 0 评论 0

绻影浮沉

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文