批处理系统上的 Hadoop 作为用户进程
我了解了 Hadoop-on-Demand，以及 SGE 上的 Hadoop 集成。我的理解是，这需要管理员权限，而我在工作的大型集群上没有管理员权限。管理员们忙得不可开交，几个月内都无法为我们进行设置。
我认识到瞬态虚拟集群对 HDFS 实用性的限制。我也了解使用光泽文件系统是如何违背常规的，但是有人编写过 SGE 或 Torque (PBS) 脚本来将作业提交到启动 hadoop 实例的集群吗？
I've seen Hadoop-on-Demand, and the Hadoop integration on SGE. My understanding is that requires admin privileges, which I don't have on the big cluster at work. The admins have their hands full and won't be able to set us up for months.
I recognizing the limits a transient virtual cluster puts on the the utility of HDFS. I also understand how using a lustre file system goes against the grain, but has anyone written either SGE or Torque (PBS) scripts to submit a job to a cluster that starts up a hadoop instance?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
请参阅MyHadoop：http://www.sdsc.edu/~allans/MyHadoop.pdf
链接错误。文章可在此处获取： http://archive.futuregrid.org/sites/default/文件/myHadoop.pdf
See MyHadoop: http://www.sdsc.edu/~allans/MyHadoop.pdf
Bad link. Article available here: http://archive.futuregrid.org/sites/default/files/myHadoop.pdf