回归系数与条件均值不匹配

Question

您可以从此repo 下载以下数据集。

	Y	CONST	T	X1	X1T	X2	X2T
0	2.31252	1	1 1	0	0	1	1 1 1
1	-0.836074	1	1	1 1	1	1 1 1 1 1 1	1
1	1 1 1 1 1 1 1 0 0 0	0	0 0	0	0	1	0

I具有因数（y）和三个二进制列（t，x1和x2）。从此数据中，我们可以创建四个组：

1. x1 == 0和x2 == 0
2. x1 == 0和x2 ================================= 1
3. x1 == 1和x2 == 0
4. x1 == 1和x2 == 1

在每个组中，我想计算使用y的均值差异，其中t == 1和t == 0。

我可以使用以下代码这样做：

# Libraries
import pandas as pd

# Group by T, X1, X2 and get the mean of Y
t = df.groupby(['T','X1','X2'])['Y'].mean().reset_index()

# Reshape the result and rename the columns
t = t.pivot(index=['X1','X2'], columns='T', values='Y')
t.columns = ['Teq0','Teq1']

# I want to replicate these differences with a regression
t['Teq1'] - t['Teq0']

> X1  X2
> 0   0     0.116175
>     1     0.168791
> 1   0    -0.027278
>     1    -0.147601

。

我想通过以下回归模型（m）重新创建这些结果

# Libraries
from statsmodels.api import OLS

# Fit regression with interaction terms
m = OLS(endog=df['Y'], exog=df[['CONST','T','X1','X1T','X2','X2T']]).fit()

# Estimated values
m.params[['T','X1T','X2T']]

> T      0.162198
> X1T   -0.230372
> X2T   -0.034303

我期望的系数：

1. t = 0.116175
2. t + x1t = 0.168791
3. = -0.027278
4. t + x2t /code> = -0.147601

问题

为什么回归系数不匹配第一个块的输出（t ['teq1'] - t ['teq0']）？

Answer 1

感谢@josef注意到t，x1和x2具有八个不同的组合，而我的回归模型具有六个参数。因此，我缺少两个交互项（因此两个参数）。

也就是说，回归模型需要考虑x1和x2之间的相互作用，以及x1，x2之间的相互作用代码>和t。

这可以通过声明丢失的交互列并拟合模型来完成：

# Declare missing columns
df = df.assign(X1X2 = df['X1'].multiply(df['X2']),
               X1X2T = df['X1'].multiply(df['X2T']))

# List of independent variables
cols = ['CONST','T','X1','X1T','X2','X2T','X1X2','X1X2T']

# Fit model
m = OLS.fit(endog=df['Y'], exog=df[cols]).fit()

另外，我们可以使用公式接口：

# Declare formula
f = 'Y ~ T + X1 + I(X1*T) + X2 + I(X2*T) + I(X1*X2) + I(X1*X2*T)'

# Fit model
m = OLS.from_formula(formula=f, data=df).fit()