多元线性回归

Question

我正在尝试使用 GLSMultipleLinearRegression （来自 apache commons-math 包）进行多元线性回归。它期望一个协方差矩阵作为输入——我不知道如何计算它们。我有 1 个因变量数组和 3 个自变量数组。
知道如何计算协方差矩阵吗？

注意：我的 3 个自变量各有 200 个项目，

谢谢
巴拉尼

Answer 1

如果您不知道误差之间的协方差，则可以采用迭代方法。您将首先使用普通最小二乘法，计算误差以及误差之间的协方差。然后，您可以使用计算出的协方差矩阵应用 GLS 并重新估计协方差矩阵。您将继续使用 GLS 和新协方差矩阵进行迭代，直到收敛。 这里有一个链接（.pdf 警告）此方法的示例以及加权和迭代加权最小二乘法的相关讨论，其中您在 GLS 中假设的误差之间没有相关性。

Answer 2

刚刚遇到 Flanagan 库可以做到这一点盒子的。还收到来自公共用户列表的邮件，目前公共数学 确实不支持FGLS - 协方差矩阵的自动估计

-Bharani

Answer 3

如果您不知道误差之间的协方差，我会使用普通最小二乘法 (OLS) 而不是广义最小二乘法 (GLS)。这相当于将单位矩阵作为协方差矩阵。该库似乎在 < 中实现了 OLS代码>OLSMultipleLinearRegression 。

Answer 4

您是否尝试过直接从数据创建协方差矩阵？

new Covariance().computeCovarianceMatrix(data)

根据评论中的信息，我们知道有 3 个自变量、1 个因变量和 200 个样本。这意味着您将拥有一个 4 列 200 行的数据数组。最终结果将如下所示（明确输入所有内容以尝试解释我的意思）：

double [] data = new double [4][];
data[0] = new double[]{y[0], x[0][0], x[1][0], x[2][0]};
data[1] = new double[]{y[1], x[0][1], x[1][1], x[2][1]};
data[2] = new double[]{y[2], x[0][2], x[1][2], x[2][2]};
// ... etc.
data[199] = new double[]{y[199], x[0][199], x[1][199], x[2][199]};
Covariance covariance = new Covariance().computeCovarianceMatrix(data);
double [][] omega = covariance.getCovarianceMatrix().getData();

然后， 当您进行实际回归时，您将得到协方差矩阵：

MultipleLinearRegression regression = new GLSMultipleLinearRegression();
// Assumes you put your independent variables in x and dependent in y
// Also assumes that you made your covariance matrix as shown above 
regression.addData(y, x, omega); // we do need covariance

Answer 5

@马克拉文

您首先会使用普通最少
平方，计算误差，以及
误差之间的协方差

我有点困惑。由于我们只有一个响应变量，因此残差应该是一维变量。那么误差的协方差矩阵适合在哪里呢？

Answer 6

您需要将 3 个随机独立变量组织为矩阵中的列向量：x1、x2、x3 (N)，其中每一行都是一个观测值 (M)。这将是一个 MxN 矩阵。

然后，将此数据矩阵插入 Apache 提供的协方差例程中，例如：
Covariance.computeCovarianceMatrix(RealMatrix 矩阵)。