在 BDB 中并行查找多个文件的值
在 BDB 中并行查找多个文件的值的最有效方法是什么？如果我有一个 Perl 脚本，一次对一个文件执行此操作，那么在 Linux 中使用 & 符号在后台分叉/运行该进程是否有效？
如何使用 Hadoop 来解决这个问题？
线程会是另一种解决方案吗？
What is the most efficient way to look up values in a BDB for several files in parallel? If I had a Perl script which did this for one file at a time, would forking/running the process in background with the ampersand in Linux work?
How might Hadoop be used to solve this problem?
Would threading be another solution?
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
Hadoop 与本例完全无关。 Hadoop 是一个用于在计算机集群上并行化大型计算任务的系统，而不是用于在单个节点上并行化短期查找的系统。
如果我理解正确的话，您希望 Perl 在多个 BDB 文件中并行查找值。最好的方法是为您的 bdb 调用提供一个回调句柄，该句柄将在请求完成时执行。线程将在 C 层完成，比在 Perl 中手动完成要高效得多。
构建模块：
BDB：http://metacpan.org/pod/BDB
Coro::BDB：< a href="http://metacpan.org/pod/Coro::BDB" rel="nofollow noreferrer">http://metacpan.org/pod/Coro::BDB
AnyEvent：http://metacpan.org/pod/AnyEvent
Hadoop is totally irrelevant to this case. Hadoop is a system for parallelizing large computational tasks on computer clusters, not for parallelizing short-lived lookups on a single node.
If I understand correctly, you want Perl to look up a value in several BDB files in parallel. This is best done by giving your bdb calls a callback handle that will get executed when the request finishes. The threading will be done at the C layer, much more efficient than doing it manually in Perl.
Building blocks:
BDB: http://metacpan.org/pod/BDB
Coro::BDB: http://metacpan.org/pod/Coro::BDB
AnyEvent: http://metacpan.org/pod/AnyEvent