简单的CNN二进制分类网络，该网络具有由100000多个图像文件组成的数据集

Question

我正在尝试为二进制分类构建一个简单的CNN模型，但培训数据集由超过100K的“ .png”文件组成。如果我通过一次加载所有数据来训练模型，它将创建MemoryExhustion错误。有人可以帮助我建立网络来处理如此庞大的数据集吗？

Answer 1

您可以使用收益语句流式传输。

def load_at_once(image_names):
    return [load(image_name) for image_name in image_names] # memory exhaust

def load_stream(image_names):
    for image_name in image_names:
        yield load(image_name)

您可以使用语句的迭代图像。 load_stream功能将一一加载图像，如果您不尝试将所有图像保存在内存中，则可以防止内存排气。

当然，流媒体比将图像多次多次加载到内存时要慢，因为它每次要使用时都会读取图像。