使用.H5格式读取文件并在数据集中使用

Question

我有两个文件夹（一个用于火车，一个用于测试），每个文件夹都有大约10个以H5格式的文件。我想阅读它们并在数据集中使用它们。我有一个可以阅读它们的功能，但是我不知道如何使用它来阅读课堂中的文件。

def read_h5(path):
    data = h5py.File(path, 'r')
    image = data['image'][:]
    label = data['label'][:]
    return image, label

class Myclass(Dataset):
    def __init__(self, split='train', transform=None):
        raise NotImplementedError

    def __len__(self):
        raise NotImplementedError

    def __getitem__(self, index):
        raise NotImplementedError

你有建议吗？ 先感谢您

Answer 1

这可能是您想做的事情的开始。我实现了__ INT __（），但不是__ len __（）或__ get_item __（）。用户提供路径，而INIT函数调用类方法read_h5（）获取图像和标签数据的数组。从2个不同的H5文件创建类对象的简短主体。使用文件夹和文件名修改路径列表，以进行所有培训和测试数据。

class H5_data():
    def __init__(self, path): #split='train', transform=None):
        self.path = path
        self.image, self.label = H5_data.read_h5(path)

    @classmethod
    def read_h5(cls,path):
        with h5py.File(path, 'r') as data:
            image = data['image'][()]
            label = data['label'][()]
            return image, label
        
paths = ['train_0.h5', 'test_0.h5']
for path in paths:
    h5_test = H5_data(path)
    print(f'For HDF5 file: {path}')
    print(f'image data, shape: {h5_test.image.shape}; dtype: {h5_test.image.dtype}')
    print(f'label data, shape: {h5_test.label.shape}; dtype: {h5_test.label.dtype}')

恕我直言，创建一个带有数组数据的类是过大的（如果您的数据集很大，可能会导致内存问题）。创建H5PY数据集对象并在需要时访问数据是更有效的内存效率。下面的示例与上面的代码相同，而不创建具有Numpy数组的类对象。

paths = ['train_0.h5', 'test_0.h5']
for path in paths:
    with h5py.File(path, 'r') as data:
        image = data['image']
        label = data['label']               
        print(f'For HDF5 file: {path}')
        print(f'image data, shape: {image.shape}; dtype: {image.dtype}')
        print(f'label data, shape: {label.shape}; dtype: {label.dtype}')