使用多项式/最小二乘回归预测值

Question

我有一个包含 2 个变量（称为 x，形状为 nx 2 个 x1 和 x2 值）和 1 个输出（称为 y）的数据集。我无法理解如何根据多项式特征和权重计算预测输出值。我的理解是 y = X dot w，其中 X 是多项式特征，w 是权重。 多项式特征是使用 sklearn.preprocessing 中的 PolynomialFeatures 生成的。权重是从 np.linalg.lstsq 生成的。下面是我为此创建的示例代码。

import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures

df = pd.DataFrame()
df['x1'] = [1,2,3,4,5]
df['x2'] = [11,12,13,14,15]
df['y'] = [75,96,136,170,211]

x = np.array([df['x1'],df['x2']]).T
y = np.array(df['y']).reshape(-1,1)

poly = PolynomialFeatures(interaction_only=False, include_bias=True)
poly_features = poly.fit_transform(x)
print(poly_features)
w = np.linalg.lstsq(x,y)
weight_list = []
for item in w:
  if type(item) is np.int32:
    weight_list.append(item)
    continue
  for weight in item:
    if type(weight) is np.ndarray:
      weight_list.append(weight[0])
      continue
    weight_list.append(weight)
weight_list

y_pred = np.dot(poly_features, weight_list)
print(y_pred)

regression_model = LinearRegression()
regression_model.fit(x,y)
y_predicted = regression_model.predict(x)
print(y_predicted)

对于 y_pred 值，它们与我创建的值列表相差甚远。我是否对 np.linalg.lstsq 使用了错误的输入，我的理解是否存在错误？

使用内置的 LinearRegression() 函数，y_predicted 更接近我提供的 y 值。 y_pred 的数量级要高得多。

Answer 1

在 lstsq 函数中，生成的多项式特征应该是第一个输入，而不是最初提供的 x 数据。

此外，lstsq 第一个返回的输出是回归系数/权重，可以通过索引 0 来访问。

使用最小二乘回归权重/系数的显式线性代数方法的校正代码将是：

w = np.linalg.lstsq(poly_features,y, rcond=None)
y_pred = np.dot(poly_features, w[0])

对于整个正确代码（注该方法实际上比默认的 LinearRegression 函数对于预测值更准确）：

import pandas as pd
import numpy as np
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures
df = pd.DataFrame()
df['x1'] = [1,2,3,4,5]
df['x2'] = [11,12,13,14,15]
df['y'] = [75,96,136,170,211]

x = np.array([df['x1'],df['x2']]).T
y = np.array(df['y']).reshape(-1,1)

poly = PolynomialFeatures(interaction_only=False, include_bias=True)
poly_features = poly.fit_transform(x)
print(poly_features)
w = np.linalg.lstsq(poly_features,y, rcond=None)
print(w)

y_pred = np.dot(poly_features, w[0])
print(y_pred)

regression_model = LinearRegression()
regression_model.fit(x,y)
y_predicted = regression_model.predict(x)
print(y_predicted)