分割机器学习的数据

Question

我有一个包含文本的数据框，我想根据机器学习过程的“作者”列将数据分开。例如，我想培训来自Aeschylus和Sophocles的文字，并测试Euripides的文字。我该怎么做？我正在使用Sklearn。

Answer 1

尝试根据以下方式调整代码：

authors = ["Aesch", "Soph", "Euri", "Aesch", "Soph", "Euri"]
df = pd.DataFrame(authors, columns=["author"])
df["text"] = ["abc", "bcd", "cde", "abc", "bcd", "cde"]

# split your dataframe with a condition
train = df[df.author!="Euri"]
test = df[df.author=="Euri"]

Answer 2

这就是GroupKfold的目的，它将组列还为特征和目标：

group_kfold = GroupKFold(n_splits=2)
X_train, X_test, y_train, y_test = group_kfold.split(X, y, group)

请参见文档：此处：