如何将发布文件转换为pytorch张量

Question

是否有Python软件包将发布文件转换为Pytorch张量？ 通过发布文件，我是指带有以下格式的CSV文件： “ docid”，“ wordid”，count“

我也有一个词典。txt，将每个wordid与一个单词相关联。

最后，我的文本数据包括帖子文件和一个字典，我想将其与我使用Pytorch实施的深度学习模型一起使用。

Answer 1

不，你必须自己做。您只需将每个Elemnt转换为pytorch张量，也可以使用Pytorch数据集API。

import csv
import torch
from torch.utils.data import Dataset
from typing import List, NamedTuple

CsvRowItem = NamedTuple("CsvRowItem", [
    ("docId", int),
    ("wordId", int),
    ("count", int)
])

data: List[CsvRowItem] = []
with open("data.csv", mode='r') as file:
    reader = csv.reader(file)
    next(reader) # Skip the header
    for row in reader:
        data.append(
            CsvRowItem(docId=int(row[0]),
                       wordId=int(row[1]),
                       count=int(row[2]))
        )



class YourDataset(Dataset):

    def __init__(self, data: List[CsvRowItem]):
        self.data = data
    
    def __len__(self):
        return len(self.data)
    
    def __getitem__(self, index: int) -> torch.IntTensor:
        item = self.data[index]
        return torch.IntTensor([item.docId, item.wordId, item.count])


dataset = YourDataset(data=data)
print(f"Length of data: {len(dataset):,}")
print(dataset[0])