RandomForestRegressor：发现的输入变量，示例数量不一致

Question

这是一个即将到期的项目，因此将不胜感激，我从未做过ML，因此很抱歉，如果错误是绝对光滑的大脑。

我有一个数据集，该数据集以及个性分数以及个性分数，我需要训练一个模型来预测分数。 到目前为止，这就是我所做的，通过遵循大量教程并将我学到的东西缝合在一起。

train = pandas.read_csv('../dataset/cleaner_dataset.csv')
train['tweet'] = train['tweet'].str.lower()
train['tweet'] = train['tweet'].replace('[^a-zA-Z0-9]', ' ', regex = True)

X = train['tweet']
y = train['neuroticism']
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2)

vectorizer = TfidfVectorizer(min_df=5)
X_vectorized = vectorizer.fit_transform(X_train)

vectorizer = TfidfVectorizer(min_df=5)
X_test_vec = vectorizer.fit_transform(X_train) 

from sklearn.ensemble import RandomForestRegressor
model = RandomForestRegressor()
model.fit(X_vectorized, y_train)

model.score(X_test_vec, y_test)

但是，当我在笔记本中运行时，我在最后一行的代码上会遇到错误。

ValueError: Found input variables with inconsistent numbers of samples: [495, 1980]

完整错误消息： https://i.sstatic.net/cff5w.jpg

Answer 1

您正在使用X_Train进行火车和测试，这是您遇到错误的原因。

尝试：

vectorizer = TfidfVectorizer(min_df=5)
X_vectorized = vectorizer.fit_transform(X_train)

X_test_vec = vectorizer.transform(X_test) # use the same vectorizer, do not define a new one

如下所示，我们不适合测试集。
但是*您仍然需要使用y_test使用x_test