使用对数标准化向量以避免溢出

Question

使用对数避免数值下溢的算术问题 (采取2）

看过上面的内容并看过softmax标准化后，我试图标准化一个向量，同时避免溢出 -

也就是说，如果我有一个数组 x[1], x[2] x[3], x[4], ... , x[n]

对我来说，标准化形式的元素平方和为 1.0 并通过将每个元素除以得到 sqrt(x[1]*x[1]+x[2]*x[2]+...+x[n]*x[n])

现在平方和可能会溢出即使平方根足够小以适合浮点变量，所以我想人们可以做类似的事情 s=(2*log(fabs(x[1]))+2*log(fabs(x[2]))+...+2*log(fabs(x[n])))/ 2

并将元素计算为

exp(log(fabs(x[1]))-s), ..., exp(log(fabs(x[n]))-s

但是

上面是不正确的，因为 log(A+B) 不是 log(A)+log(B) - 现在有没有一种方法可以进行向量归一化来更好地避免溢出？

Answer 1

相反，

norm  = sqrt(x[1] * x[1] + ... + x[n] * x[n])

您可能希望在平方之前将向量的元素除以最大可能值，

max_x = max(x[1], ..., x[n])
y[1] = x[1] / max_x / n
...
y[n] = x[n] / max_x / n
norm = n * sqrt(y[1] * y[1] + ... + y[n] * y[n]) * max_x

然后 y 向量的范数应等于或小于零。 n * max_x 的值仍然可能溢出，因此您也需要小心，确保操作以非溢出顺序执行。

Answer 2

您似乎做出这样的假设：

log(x^2 + y^2)

与：

log(x^2) + log(y^2)

但是，这是不正确的，因为您不能像这样简化总和的对数。

Answer 3

KennyTM 是正确的 - 你关于对数的想法是错误的。

您不能使用 L2 范数，因为它要求您计算向量的大小，而这正是您遇到溢出问题的原因。

也许 L-无穷范数（首先将向量中的每个分量除以最大分量的绝对值）会更好。请务必保留最大绝对值，以便获得正确的幅度。

我完全理解您需要 L2 范数，但如果溢出确实是一个问题，您需要采取中间步骤来获得它：

1. 找到向量的最大绝对值。
2. 将每个分量除以最大绝对值进行归一化；最大值现在为 +/- 1。
3. 计算归一化分量平方和的平方根。我建议对值进行排序并按升序添加它们，以确保小组件不会丢失。
4. 乘以最大绝对值即可得到原始向量的 L2 范数。