将自定义数据集写入 pytorch

发布于 2025-01-09 20:52:19 字数 331 浏览 1 评论 0原文

我有形状 (400, 46, 55, 46) 的 numpy 数组数据，这里 400 是样本，46,55,46 是图像。350 个样本训练和剩余 50 个用于验证

np.max(data[1]), np.min(data[1]), len(data[1])
Output: (2941.0, -43.0, 46)

现在我想将数据加载到 pytorch 模型中，因为我需要编写一个自定义数据加载器，因为我是 pytorch 的新手，我发现很难编写有人可以帮忙吗

原文

I am having data of numpy arrays with shape (400, 46, 55, 46) here 400 are the samples and 46,55,46 is the image.350 samples for training and remaining 50 for validation

np.max(data[1]), np.min(data[1]), len(data[1])
Output: (2941.0, -43.0, 46)

Now i want to load the data into pytorch model for that i need to write a custom dataloader as i am new to pytorch i am finding hard to wrie can someone help

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

滥情哥ㄟ 2025-01-16 20:52:19

您可以使用 torch.utils.data 的组合.TensorData 和 torch.utils.data.random_split 构建两个数据集并用 torch.utils.data.DataLoader：

>>> data = np.random.rand(400, 46, 55, 46)

# Datasets initialization
>>> ds = TensorDataset(torch.from_numpy(data))
>>> train_ds, valid_ds = random_split(ds, (350, 50))

# Dataloader wrappers
>>> train_dl, valid_dl = DataLoader(train_ds), DataLoader(valid_ds)

You can use a combination of torch.utils.data.TensorData and torch.utils.data.random_split to construct the two datasets and wrap them with torch.utils.data.DataLoader:

>>> data = np.random.rand(400, 46, 55, 46)

# Datasets initialization
>>> ds = TensorDataset(torch.from_numpy(data))
>>> train_ds, valid_ds = random_split(ds, (350, 50))

# Dataloader wrappers
>>> train_dl, valid_dl = DataLoader(train_ds), DataLoader(valid_ds)

回复收藏 0 原文

~没有更多了~