如何在 Python 中使用 beanstalkc 对 URL 进行排队并执行作业

Question

我有一个名为 spider 的函数，它接受 seed 作为参数。 seed 是我发送给蜘蛛函数的 URL 的名称。现在我的问题是如何在 Python 中使用 beanstalkc 对 URL 进行排队并执行作业。

Answer 1

根据 教程，您需要：

1. beanstalkd 服务器正在运行。

2. 连接：

   导入 beanstalkc
   beanstalk = beanstalkc.Connection(主机='localhost',端口=14711)
   

3. 使用以下方式添加作业：

   beanstalk.put('种子网址')
   

4. 通过以下方式获取职位：

   job = beanstalk.reserve()
   蜘蛛（作业.body）
   

5. 将作业标记为已完成：

   job.delete()