在 CPython 中一次处理 hdfs 文件中的数据的最佳方法（不使用 stdin）？

Question

我想在 hadoop 流作业中使用 CPython，该作业需要从保存在 hadoop 文件系统中的面向行的文件访问补充信息。我所说的“补充”是指该文件是对通过标准输入传递的信息的补充。补充文件足够大，我无法将其放入内存并解析出行尾字符。是否有一种特别优雅的方法（或库）来一次一行处理该文件？

谢谢，

SetJmp

Answer 1

查看此文档使用 Hadoop 流作业中的 rel="nofollow">Hadoop 分布式缓存。首先将文件上传到 hdfs，然后告诉 Hadoop 在运行作业之前将其复制到各处，然后它会方便地在作业的工作目录中放置一个符号链接。然后，您可以使用 python 的 open() 来使用 for line in f 或其他内容来读取文件。

分布式缓存是推送文件（开箱即用）以供作业用作资源的最有效方法。您不仅仅想从进程中打开 hdfs 文件，因为每个任务都会尝试通过网络传输文件...使用分布式缓存，即使多个任务在同一节点上运行，也会下载一份副本。

---

首先，在运行作业时将 -files hdfs://NN:9000/user/sup.txt#sup.txt 添加到命令行参数中。

然后：

for line in open('sup.txt'):
    # do stuff

Answer 2

您在找这个吗？

http://pydoop.sourceforge.net/docs/api_docs/hdfs_api .html#module-pydoop.hdfs

with pydoop.hdfs.open( "supplementary", "r" ) as supplementary:
    for line in supplementary:
        # process line