- 1.2 服务介绍
- 1.3.1 概念介绍
- 1.3.2 快速入门
- 1.3.3 申请Quota
- 1.3.4 集群环境
- 1.3.5 Fdsfuse介绍
- 1.3.6 Tensorflow中使用hdfs
- 1.4 客户端使用
- 1.4.1 安装命令行工具
- 1.4.2 使用命令行工具
- 1.4.3 使用Python SDK
- 1.4.4 使用Web控制台
- 1.5 TrainJob功能
- 1.5.1 训练任务组件和流程
- 1.5.2 上手Trainjob
- 1.5.3 使用GPU
- 1.5.4 使用FDS
- 1.5.5 使用Fuse
- 1.5.6 Trainjob高级功能
- 1.5.6.1 分布式训练
- 1.5.6.2 使用前置/后置命令
- 1.5.6.3 自动超参数调优
- 1.5.6.4 自动超参数调优Hpjob
- 1.5.6.5 自动超参数调优Hpjob
- 1.5.6.6 使用自定义镜像
- 1.5.6.7 使用TensorFlow模板应用
- 1.5.6.8 使用HDFS
- 1.5.6.9 使用HDFS FUSE
- 1.6 ModelService功能
- 1.6.1 模型服务使用流程
- 1.6.2 TensorFlow Serving介绍
- 1.6.3 使用GPU模型服务
- 1.6.4 使用多副本和负载均衡
- 1.6.5 在线服务的模型升级
- 1.6.6 模型服务监控
- 1.6.7 使用前置命令和后置命令
- 1.6.8 定制模型服务Docker镜像
- 1.6.9 使用客户端预测
- 1.6.9.1 使用通用gRPC客户端
- 1.6.9.2 使用Python客户端
- 1.6.9.3 使用Java客户端
- 1.6.9.4 使用Scala客户端
- 1.6.9.5 使用Golang客户端
- 1.6.9.6 使用C++客户端
- 1.7 DevEnv功能
- 1.7.1 开发环境使用流程
- 1.7.2 使用命令行管理开发环境
- 1.7.3 使用WEB控制台管理开发环境
- 1.7.4 高级功能
- 1.7.4.1 使用GPU开发环境
- 1.7.4.2 使用FDS FUSE存储
- 1.7.4.3 使用HDFS存储
- 1.7.4.4 使用HDFS FUSE存储
- 1.7.4.5 网络和安全
- 1.7.4.6 监控
- 1.7.4.7 定制开发环境Docker镜像
- 1.7.5 最佳实践
- 1.8 使用率监控
- 1.8.1 GPU使用率监控
- 1.9 TensorboardService功能
- 1.9.1 TensorBoard使用流程
- 1.9.2 TensorBoard介绍
- 1.10 API文档
- 1.10.1 签名规范
- 1.10.2 API文档
- 1.11 问题反馈
- 1.11.1 FAQ
- 1.11.2 技术支持
文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
1.7.1 开发环境使用流程
注意:
因为开发环境依赖的Docker进程在使用的过程中可能被重启,重启后数据无法保留。开发环境支持挂载FDS bucket到本地目,该目录存储的文件会自动同步到FDS,建议把重要的数据文件存放到该目录。参考使用FDS FUSE存储
简介
Xiaomi Cloud-ML集成了开发环境功能。每一个开发环境是一个容器实例,容器屏蔽了底层硬件差异,预安装了深度学习框架,方便用户进行开发测试。
开发环境的概念
- 每一个开发环境(DevEnv)是一个容器实例,Cloud-ML根据用户指定的深度学习框架/CPU/内存/GPU等参数,根据调度策略分配容器到集群中一台宿主机上。
- 支持通过命令行工具,SDK或者web控制台两种方式,管理开发环境实例。
- 开发环境通过您账户的AK/SK进行身份验证,并通过资源配额限制实例的大小和数量。
- 支持多种深度学习框架,包括Tensorflow, Caffe, Keras,Kaldi等,详细列表请使用命令行工具或web控制台查看。
- 支持使用用户自定义镜像创建开发环境,用户可以在自定义镜像内安装配置所需软件环境。
- 支持多种实例规格,用户可以根据需求指定实例的CPU/内存/GPU大小。
- 支持设置开发环境对外开放的端口和防火墙策略,默认开放SSH和Jupyter访问。
- 支持挂载FDS bucket到本地目录(默认/fds),提供可靠的文件存储。
开始使用
创建开发环境,必须申请Quota,流程请参考http://docs.api.xiaomi.com/cloud-ml/usage/request_quota.html 命令行工具,SDK或者web控制台的安装和入口,请参考http://docs.api.xiaomi.com/cloud-ml/client/。
基本的开发环境使用过程如下:
第一步,创建开发环境,使用命令行工具提交dev创建请求,或者在web控制台点击创建开发环境实例。
第二步,查看开发环境,开发环境经过排队-调度-创建过程后,进入running
状态,标识该实例创建完成。
第三步,登录开发环境,根据开发环境的IP和端口,SSH连接登录到开发环境。
第四步,进行开发测试,SSH连接到开发环境后,用户可以像使用本地机器一样,进行各种开发测试工作,包括软件安装,代码编写,训练,模型导出等。
第五步,关闭开发环境,开发环境实例使用完毕后,用户可以使用命令行工具或者在web控制台删除该实例。
下一章,将详细介绍创建和管理开发环境的步骤。
注意事项
- 开发环境可能会发生迁移重启,使用时尽可能避免存放重要数据。持久化数据建议通过FUSE存放到FDS。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论