Question

假设 ? ：Rⁿ→R 是 n 维向量 A 的的函数，并返回一个实数。那么 x 的 Hessian 矩阵是偏导数的 n×n 矩阵，写作?²_xf（x），简记为 H。

换句话说，?²_xf(x) ∈ R^n×n ，其中：

需要注意的是 Hessian 矩阵始终是对称的，即：

和梯度类似，Hessian 矩阵只在 f(x) 为实数时有定义。

可以很自然联想到，偏导类似于函数的一阶导数，而 Hessian 类似函数的的二阶导数（我们使用的符号，也表明了这种联系）。通常这种直觉是正确的，但有些注意事项需要牢记。

首先，只有一个变量的实值函数，f : R→R，它的基本定义是二阶导数是一阶导数的导数，即：

然而，对于关于向量的函数，该函数的梯度是一个向量，我们不能取向量的梯度，即;

并且这个表达式没有定义。因此，不能说 Hessian 矩阵是梯度的梯度。然而，在下面的意义上比较靠谱：如果我们取第 i 项（?_xf（X））_i =?F（X）/?x_i，并取对 x 的梯度，我们得到：

这是 Hessian 矩阵的第 i 列（或行）。 因此：

如果此处稍粗略一点，可以得出，只要将其真实的含义理解为对 (?_xf(x)) 的每一项求梯度，而不是对向量求梯度即可。

最后注意，虽然可求出对矩阵 A∈Rⁿ的梯度，但在本课程中，将只考虑向量 x∈Rⁿ的 Hessian 矩阵。这仅仅是为了方便起见（而事实上，没有计算需要求矩阵的 Hessian 矩阵），因为矩阵的 Hessian 矩阵必须表示为所有的偏导数?²f（A）/（?A_ij?A_k?），而要表示为矩阵却相当麻烦。