如何使用 Ruby 在 Hadoop HDFS 中写入和读取文件？

发布于 2024-09-07 16:55:39 字数 212 浏览 6 评论 0原文

有没有办法使用 Ruby 来使用 HDFS Api？据我了解，没有多语言文件 Api，唯一的方法是使用本机 Java Api。我尝试使用 JRuby，但这个解决方案不稳定并且不是很原生。我还查看了 HDFS Thrift Api，但它并不完整，并且还缺少许多功能（例如写入索引文件）。

除了使用 JRuby 或 Thrift Api 之外，还有其他方法可以使用 Ruby 来处理 HDFS 吗？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

握住你手 2024-09-14 16:55:46

github上有两个项目符合你的要求。 ruby-hdfs 为 Ruby 提供到 HDFS 的本机 C 绑定。 ganapati 与 Thrift 服务器交互。

您还可以直接对文件系统 shell 进行系统调用。例如：

cmd = "hadoop fs -mkdir #{hdfs_path}"
cmd += " 2> /dev/null"
system(cmd)
if $? == 0
  puts 'ok'
  exit(0)
else
  puts "Error: failed to create hdfs://#{hdfs_path}"
  exit(2)
end

There are two projects in github that fit what you're asking. ruby-hdfs provides native C bindings to HDFS for Ruby. ganapati interfaces with a Thrift server.

You could also make system calls directly to the file system shell. For example:

cmd = "hadoop fs -mkdir #{hdfs_path}"
cmd += " 2> /dev/null"
system(cmd)
if $? == 0
  puts 'ok'
  exit(0)
else
  puts "Error: failed to create hdfs://#{hdfs_path}"
  exit(2)
end

回复收藏 0 原文

~没有更多了~