Question

我们在计算特征值时使用 QR 分解并计算最小二乘回归。 它是数值线性代数中的重要组成部分。

“数值线性代数中的一种算法比其他算法更重要：QR 分解。” --Trefethen，第 48 页

回想一下，对于任何矩阵 A ， A = QR ，其中 Q 是正交的， R 是上三角。

提醒：我们在上一课中看到的 QR 算法使用 QR 分解，但不要混淆二者。

NumPy 中

import numpy as np

np.set_printoptions(suppress=True, precision=4)

n = 5
A = np.random.rand(n,n)
npQ, npR = np.linalg.qr(A)

检查 Q 是正交的：

np.allclose(np.eye(n), npQ @ npQ.T), np.allclose(np.eye(n), npQ.T @ npQ)

# (True, True)

检查 R 是三角。

npR

'''
array([[-0.8524, -0.7872, -1.1163, -1.2248, -0.7587],
       [ 0.    , -0.9363, -0.2958, -0.7666, -0.632 ],
       [ 0.    ,  0.    ,  0.4645, -0.1744, -0.3542],
       [ 0.    ,  0.    ,  0.    ,  0.4328, -0.2567],
       [ 0.    ,  0.    ,  0.    ,  0.    ,  0.1111]])
'''

当向量 b 投影到直线 a 上时，其投影 p 是 b 沿着直线 a 的一部分。

让我们看看 沉浸式线性代数在线版 的 第 3.2.2 节：投影 的交互图。

来源： 沉浸式数学

以下是将向量投影到平面上的样子：

来源： 最小二乘回归的线性代数视角

当向量 b 投影到直线 a 上时，其投影 p 是 b 沿着直线 a 的一部分。 所以 p 是 a 的一些倍数。 设 其中 是标量。

正交性

投影的关键是正交性：从 b 到 p 的直线（可以写成 ）垂直于 a 。

这意味着：

所以：