CUDA、浮点精度

Question

我在 Geforce GTX 580 (Fermi) 上使用 CUDA 4.0。我的数字小到 7.721155e-43 。我想将它们相乘一次或者更好地说我想计算 7.721155e-43 * 7.721155e-43 。

我的经验告诉我，我不能直接做到这一点。您能给我建议吗？我需要使用双精度吗？如何？

Answer 1

最小的标准 IEEE 单精度数的大小约为 1.18e-38，最小的非标准数可降至约 1.40e-45。因此，大小为 7.82e-43 的操作数将仅包含大约 9 个非零位，这本身可能已经是一个问题，甚至在进行乘法之前（其结果将在单精度下下溢到零）。因此，您可能还想查看产生这些微小数字的任何上游计算。

如果这些小数字是数学表达式中的中间项，则将该表达式重写为不涉及微小中间项的数学等效表达式将是解决该问题的一种方法。或者，您可以按 2 的幂的因子缩放某些操作数（以免因缩放而产生额外的舍入）。例如，缩放 2^24 = 16777216。

最后，您可以将部分计算切换为双精度。为此，只需引入 double 类型的临时变量，对它们执行计算，然后将最终结果转换回 float：

float r, f = 7.721155e-43f;
double d, t;

d = (double)f;   // explicit cast is not necessary, since converting to wider type
t = d * d;
[... more intermediate computation, leaving result in 't' ...]
r = (float)t;    // since conversion is to narrower type, cast will avoid warnings

Answer 2

在统计学中，我们经常不得不处理最终非常很小的数字的可能性，而标准技术是对所有事情都使用日志。那么对数尺度上的乘法就是加法。所有中间数字都存储为日志。事实上，这可能需要一些时间来适应 - 但即使在进行相对适度的计算时，替代方案也常常会失败。在 R 中（为了我的方便！），默认情况下使用双精度数并打印 7 个有效数字：

> 7.721155e-43 * 7.721155e-43
[1] 5.961623e-85
> exp(log(7.721155e-43) + log(7.721155e-43))
[1] 5.961623e-85