返回介绍

文件结构说明

发布于 2023-06-19 21:44:21 字数 4951 浏览 0 评论 0 收藏 0

AI计算平台的文件结构说明

我们知道,在AI计算平台进行AI算法训练时,是以【项目】为载体,而在算法训练过程中,一个项目会包含以下的项目文件:数据集、代码、模型、任务的输出

我们针对以上四种文件类型,进行了隔离存储,并提供在代码中便捷的访问他们:

文件夹具体作用读写权限
/data/$username/$dataset_name用于存放名为$dataset_name的数据集均可读,仅调试环境可写
/code用于存放该项目中用户上传的代码均可读,仅调试环境可写
/model/$username/$model_name用于存放名为$model_name的预训练模型均可读,仅调试环境可写
/output用于存放该项目中某个任务的输出文件均可读写
举个例子:

比如创建一个项目"DogvsCat-test",在创建项目时,选择了数据集"DogvsCat",并选择预训练模型"ResNet"(这个数据集和模型是用户名为systemuser的用户公开发布的),然后上传了一个"main.py"的代码文件,那么此时:

  • main.py代码文件,将会放入项目的 /code 目录;
  • 在main.py文件中,如果需要获取DogvsCat数据集文件,需要使用 /data/systemuser/DogvsCat/… 的格式;
  • 在main.py文件中,如果需要获取ResNet模型中的文件,需要使用 /model/systemuser/ResNet 的格式;

在Jupyter作业下对文件的读写操作,需要注意:

  • 对code目录写入权限仅仅针对代码修改,如果在该目录下进行其它文件写入,如模型数据存储等操作,将不会被保存;
  • data以及model目录建议仅在需要进行解压文件等操作时进行写入;
  • 在代码执行期间生成的文件请统一保存在/output目录;
  • 每个任务都有独立的/output,任务训练完成后,可在【运行任务-output】下查看输出内容。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文