precision

precision

文章 0 浏览 2

用于任意数字精度的 .NET Framework 库

我正在重新提出这个问题,并使其更加具体:是否有一个 .NET 框架库支持具有任意精度数字的数字?…

话少心凉 2024-07-29 10:58:26 2 0

从 1.5 x 10^(-45) 到 3.4 x 10^38 有多少个不同的数字?

从 1.5 x 10-45 到 3.4 x 1038(IEE754 单精度浮点数)有多少个不同的数字?…

萌酱 2024-07-28 23:27:51 3 0

十进制与双精度! - 我应该使用哪一种以及何时使用?

我不断看到人们在 C# 中使用双精度。 我知道我在某处读到双倍有时会失去精度。 我的问题是什么时候应该使用双精度类型,什么时候应该使用十进制类型?…

夏了南城 2024-07-27 21:26:14 2 0

不进行舍入的十进制格式.net

昨天我问了这个关于小数及其内部精度的一般问题。 这是一个关于我试图解决的场景的具体问题。 我在 SqlServer 中有一个输入为十进制(18,6)的列。 当…

但可醉心 2024-07-27 02:52:28 3 0

有符号 64 x 32 整数除法

假设您有一个机器指令 udive,它通过采用 (32 位被除数 &lt&lt 32) / 32 位除数来执行特殊情况 64 x 32 无符号除法,我们可以使用以下命令执行完整的 …

我喜欢麦丽素 2024-07-27 02:39:18 3 0

为什么 postgresql 不存储我的整个(PHP)浮点值?

我尝试将 PHP 浮点值 63.59072952118762 存储到 postgres 中的双精度列中。 Postgres 将值存储为 63.59073。 有谁知道为什么? 8 个字节对于该值来说…

已下线请稍等 2024-07-26 21:37:55 7 0

有没有办法在Python中获取分数的重复小数部分?

我正在使用 Python 的小数模块处理分数,我想只得到某个分数的重复部分。 例如:如果我有 1/3,我想得到 3,如果我有 1/7,我想得到 142857。有没有标…

怂人 2024-07-26 07:23:03 3 0

SQL Server:使用数字文字进行计算

我用浮点计算做了一些测试,以尽量减少精度损失。 我偶然发现了一个现象,我想在这里展示并希望得到解释。 当我编写 print 1.0 / (1.0 / 60.0) 结果时…

染火枫林 2024-07-26 03:41:05 2 0

MATLAB - 楼层问题

我是 MATLAB 初学者。 问题是: &gt&gt a = floor(7/2.5) a = 2.00 &gt&gt b = rem(7,2.5) b = 2.00 &gt&gt c = floor(b/2) c = 0 c 应该是 1,对吧?…

冷清清 2024-07-25 08:02:59 2 0

windows中c语言的睡眠函数。 是否存在精度更高的函数?

我想知道除了 Sleep() 之外,是否有人知道可以在 c 中的 windows 中使用更好的睡眠函数,它需要毫秒输入,并且仅保证输入是经过的最短时间。 我在 1 …

指尖微凉心微凉 2024-07-23 12:13:19 8 0

重新调整浮点方程

我想知道是否有办法提高坡度计算的准确性。 (这是几个月前出现的此处) 。 看来通过改变: float get_slope(float dXa, float dXb, float dYa, float…

策马西风 2024-07-22 20:43:24 7 0

双精度

我有一个代码,但我不明白它。 我正在开发一个应用程序,精度非常重要。 但这对于.NET来说并不重要,为什么呢? 我不知道。 double value = 3.5 Messa…

满意归宿 2024-07-20 17:36:09 8 0

单精度和双精度浮点运算有什么区别?

单精度浮点运算和双精度浮点运算有什么区别? 我对与视频游戏机相关的实用术语特别感兴趣。 例如,Nintendo 64 是否有 64 位处理器?如果有,是否意味…

戈亓 2024-07-19 08:01:43 8 0

16 位、32 位和 64 位 IEEE-754 系统可以表示什么范围的数字?

我对浮点数的表示方式有所了解,但恐怕还不够。 一般问题是: 对于给定的精度(就我的目的而言,以 10 为基数的精确小数位数),16 位、32 位和 64 位…

无声无音无过去 2024-07-19 07:28:29 4 0

用双精度数表示整数

双精度数(给定字节数,具有合理的尾数/指数平衡)是否始终完全精确地保存该字节数一半的无符号整数的范围? 例如,八字节双精度可以完全精确地保存四…

源来凯始玺欢你 2024-07-17 00:55:59 5 0
更多

推荐作者

不再见

文章 0 评论 0

真是无聊啊

文章 0 评论 0

樱娆

文章 0 评论 0

浅语花开

文章 0 评论 0

烛光

文章 0 评论 0

绻影浮沉

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文