我是否正确使用 Parallel::Fork::BossWorkerAsync？

Question

背景： 我对多进程 Perl 脚本没有太多经验。我有一个 FooService 的数据清理过程，需要超过 12 个小时才能完成，当我调查时，我发现几乎所有时间都花在等待 FooClient 返回数据上。我正在研究一种多进程方法来完成该任务，一位同事推荐了 Parallel::Fork::BossWorkerAsync 而不是我之前所做的简单 fork() 。我喜欢它，因为它大大降低了我的内存使用量。

问题： BossWorkerAsync 看起来非常整洁，perldoc 很棒，并且在无写测试模式下运行它效果非常好，将我的执行时间缩短到一个小时以内。我唯一的问题是文档并没有真正解释共享数据如何与“init_handler => &x”构造设置一起工作。我希望每个工作人员都有自己的 FooClient，以避免任何类型的同步问题。我选择了我认为正确的做法，但我对此有点偏执，并且也想确保我以最正确的方式处理这件事。

代码：

# The number of children to spawn, modify after performance testing
Readonly my $CHILDREN => 40;

# Each child will set their own client
my $client;

my $bw = Parallel::Fork::BossWorkerAsync->new(
    work_handler => \&process_keys,
    init_handler => \&setup_client,
    worker_count => $CHILDREN,
);

send_work($bw);

while ($bw->pending()) {
    my $ref = $bw->get_result();
    # Do stuff with the result
}

$bw->shut_down();
exit;

sub setup_client {
    $client = FooClient->new();
}

我是否正在处理我不想正确共享的 $client？我保留了与 fork() 版本相同的处理方式，即在 fork() 之后设置 $client，但我只是担心这不是正确的方法。

Answer 1

是的，您正在正确使用该模块和 init_handler。处理程序在 fork 之后、在每个子进程中、在进入阻塞选择循环、等待作业之前被调用。

我是该模块的作者。很抱歉我花了这么长时间才注意到这一点并做出回应。很高兴看到代码正在被使用。

干杯，
-乔