如何将两个PANDAS DATAFRAME加载到Hugginface的数据集对象中？

Question

我正在尝试将火车和测试数据框架加载到数据集对象中。将熊猫数据框加载到数据集对象的常用方法是：

from datasets import Dataset
import pandas as pd
df = pd.DataFrame({"a": [1, 2, 3]})
dataset = Dataset.from_pandas(df)

我的问题是如何将火车和测试两个熊猫数据框架加载到数据集中？

例如，如果我有两个数据范围：

from datasets import Dataset
import pandas as pd
df_train = pd.DataFrame({"a": [1, 2, 3]})
df_test = pd.DataFrame({"ab": [1, 2, 3]})

如何加载这两个帧？

Answer 1

您可以使用datasetDict和dataset.from_pandas（）（）使用datasetDict datasetDict 。您可以通过将密钥添加到数据集量来保持火车和测试拆分。

from datasets import Dataset, DatasetDict

import datasets
import pandas as pd


df_train = pd.DataFrame({"a": [1, 2, 3]})
df_test = pd.DataFrame({"ab": [1, 2, 3]})

datasets_train_test = DatasetDict({
    "train": Dataset.from_pandas(df_train),
    "test": Dataset.from_pandas(df_test)
    })

导致

DatasetDict({
    train: Dataset({
        features: ['a'],
        num_rows: 3
    })
    test: Dataset({
        features: ['ab'],
        num_rows: 3
    })
})

您可以使用contenate_datasets（）来串联数据集列表。

dataset_train = Dataset.from_pandas(df_train)
dataset_test = Dataset.from_pandas(df_test)
datasets_all_in_one = datasets.concatenate_datasets([dataset_train, dataset_test])

这导致

Dataset({
    features: ['a', 'ab'],
    num_rows: 6
})