- 1.2 服务介绍
- 1.3.1 概念介绍
- 1.3.2 快速入门
- 1.3.3 申请Quota
- 1.3.4 集群环境
- 1.3.5 Fdsfuse介绍
- 1.3.6 Tensorflow中使用hdfs
- 1.4 客户端使用
- 1.4.1 安装命令行工具
- 1.4.2 使用命令行工具
- 1.4.3 使用Python SDK
- 1.4.4 使用Web控制台
- 1.5 TrainJob功能
- 1.5.1 训练任务组件和流程
- 1.5.2 上手Trainjob
- 1.5.3 使用GPU
- 1.5.4 使用FDS
- 1.5.5 使用Fuse
- 1.5.6 Trainjob高级功能
- 1.5.6.1 分布式训练
- 1.5.6.2 使用前置/后置命令
- 1.5.6.3 自动超参数调优
- 1.5.6.4 自动超参数调优Hpjob
- 1.5.6.5 自动超参数调优Hpjob
- 1.5.6.6 使用自定义镜像
- 1.5.6.7 使用TensorFlow模板应用
- 1.5.6.8 使用HDFS
- 1.5.6.9 使用HDFS FUSE
- 1.6 ModelService功能
- 1.6.1 模型服务使用流程
- 1.6.2 TensorFlow Serving介绍
- 1.6.3 使用GPU模型服务
- 1.6.4 使用多副本和负载均衡
- 1.6.5 在线服务的模型升级
- 1.6.6 模型服务监控
- 1.6.7 使用前置命令和后置命令
- 1.6.8 定制模型服务Docker镜像
- 1.6.9 使用客户端预测
- 1.6.9.1 使用通用gRPC客户端
- 1.6.9.2 使用Python客户端
- 1.6.9.3 使用Java客户端
- 1.6.9.4 使用Scala客户端
- 1.6.9.5 使用Golang客户端
- 1.6.9.6 使用C++客户端
- 1.7 DevEnv功能
- 1.7.1 开发环境使用流程
- 1.7.2 使用命令行管理开发环境
- 1.7.3 使用WEB控制台管理开发环境
- 1.7.4 高级功能
- 1.7.4.1 使用GPU开发环境
- 1.7.4.2 使用FDS FUSE存储
- 1.7.4.3 使用HDFS存储
- 1.7.4.4 使用HDFS FUSE存储
- 1.7.4.5 网络和安全
- 1.7.4.6 监控
- 1.7.4.7 定制开发环境Docker镜像
- 1.7.5 最佳实践
- 1.8 使用率监控
- 1.8.1 GPU使用率监控
- 1.9 TensorboardService功能
- 1.9.1 TensorBoard使用流程
- 1.9.2 TensorBoard介绍
- 1.10 API文档
- 1.10.1 签名规范
- 1.10.2 API文档
- 1.11 问题反馈
- 1.11.1 FAQ
- 1.11.2 技术支持
文章来源于网络收集而来,版权归原创者所有,如有侵权请及时联系!
1.5 TrainJob功能
前面几章介绍了Cloud-ML的一些概念,相信大家对下面这些术语和工具已经有所了解:
- Org及AKSK;
- Cloud-ML的四个任务类型,Trainjob,Dev, ModelService 和 TensorBoard,并了解这几个任务的区别;
- 安装了Cloud-ML SDK;
- 已经申请了Quota;
- 了解目前Cloud-ML的集群环境。
这一部分我们详细介绍Cloud-ML Trainjob的功能,将涵盖以下五部分内容:
第一部分:Trainjob 基本组件和训练流程 我们将介绍使用Cloud-ML Trainjob 所需要的基本要素和基本流程。
第二部分:上手Trainjob 我们以Tensorflow为例,实现一个简单的线性回归模型,通过这个例子,我们将介绍Cloud-ML Trainjob 最基本的使用方法,包括怎么使用命令行或Web界面提交任务,怎样查看已提交的任务列表,怎样查看任务事件和log以及删除不需要的任务;
第三部分:使用GPU GPU 设备可以用来加速训练,这一部分我们将介绍怎样通过 Cloud-ML 使用 GPU 进行训练;
第四部分:使用FDS 训练任务离不开训练数据,训练的结果也需要及时保存,这一部分我们将介绍怎样从FDS获取数据及保存训练结果到FDS;
第五部分:使用FDS FUSE 使用FDS可以实现数据的持久化,但是也存在一些问题,比如受限于特定的框架。为了更通用的解决持久化问题,可以使用Fuse功能。
第六部分:高级功能 这一部分我们介绍Cloud-ML提供的一些高级训练功能,包括(注意,下面这些功能有些依赖深度学习框架本身提供,具体差别会在详细介绍中列出):1)分布式训练; 2)自动超参数调优; 3)使用自定义镜像; 4)使用Tensorflow模板应用
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论