任务扇出 - 如何批量添加任务到队列 - 超过 5 个

Question

我正在使用一个任务（排队任务）来对多个其他任务进行排队——扇出。当我尝试使用 Queue.add< /a> ，任务参数是任务列表 实例具有超过 5 个元素并且处于事务中...我收到此错误。

JointException: taskqueue.DatastoreError caused by: 
    <class 'google.appengine.api.datastore_errors.BadRequestError'> 
    Too many messages, maximum allowed 5

是否有另一种方法可以在事务中对 5 个以上的任务进行排队？

或者...

也许我不需要事务，因为：

1. 我不在乎这些任务中的任何一个是否会排队两次，
2. 如果其中任何一个任务排队失败，那么整个排队任务将重新运行。

那么请告诉我如何在事务中排队 5 个以上的任务，或者告诉我不要使用事务，因为我实际上并不需要事务。

Answer 1

解决您的问题的一种接近解决方案是添加一个事务性任务来扇出剩余的任务。只需在现有事务中添加一个扇出任务即可。

除非有业务逻辑原因需要这样做，否则不要重新运行已运行的任务。防止任务被重新插入（即重复）非常简单并且可以节省资源。您的扇出任务基本上如下所示：

class FanOutTask(webapp.RequestHandler):
  def get(self):
    name = self.request.get('name')
    params = deserialize(self.request.get('params'))

    try:
      task_params = params.get('stuff')
      taskqueue.add(url='/worker/1', name=name + '-1', params=task_params)
    except TaskAlreadyExistsError:
      pass

    try:
      task_params = params.get('more')
      taskqueue.add(url='/worker/2', name=name + '-2', params=task_params)
    except TaskAlreadyExistsError:
      pass

以事务方式添加扇出任务可确保其排队。已运行的任务所导致的错误会被捕获并忽略，其他错误会导致扇出任务重新运行。使用这种模式，您可以非常轻松地插入许多子任务。