vertex ai工作台用户管理的笔记本用拥抱面数据集崩溃

Question

我试图在顶点AI工作台的用户管理笔记本中加载 huggingface 数据集。我尝试了内存优化的机器，例如M1-Ultramem-160和m1-megamem-96。我选择了SDD引导/磁盘空间的其他 2000 GB 。

数据集在Jupyterlab崩溃之前下载约60％。

例如，这崩溃了内核：

！ PIP安装数据集

pile_dataset = load_dataset('the_pile', 'all', split = 'train')

我不确定是否需要执行任何特定的事情来增加分配给jupyterlab实例的可用内存。

任何帮助将不胜感激。

谢谢。