我们如何强制许多映射器读取hadoop中的一个特定文件（相同的数据）？
我想编写一个程序，让许多映射器读取一个 1 文件 是一个图，所有内容都在该图上进行处理，该文件约为 14 kb 如果我以正常方式运行，则只会为该文件映射一个映射器 我怎样才能做到这一点？ 此致。
i want to write a program that many mappers read one 1 file that
is a graph and all do processing on that graph, that file is about 14 kb
if i run in normal way just one mapper will be mapped for that file
how i can do that?
Best regards.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
将文件放入HDFS中，并在mapper函数中使用HDFS API读取文件并对其进行处理。您还可以尝试使用 DistributedCache，而不是将文件放入 HDFS。
当必须对一个数据集进行 N 次模拟时，这种情况也适用。模拟因子将作为映射函数的输入，并在映射函数中读取实际数据。
Put the file in HDFS and read the file using HDFS API in the mapper function and do the processing on it. You can also try DistributedCache instead of putting the file in HDFS.
This scenario is also applicable when N simulations have to be done on a data set. The simulation factors will be the input to the map function and the actual data is read in the map function.