应用程序引擎上的带有游标问题的任务链。异常：查询偏移量太大。还有其他人遇到这个问题吗？

Question

我不确定其他人是否有这个问题，但在 appengine 开发服务器上使用光标链接任务时，我遇到了异常“查询偏移量太大”（不确定是否发生在居住）。

在单个查询中处理了 4000 多条记录后请求游标时，会发生错误。

我不知道偏移量与光标有什么关系，也许它只是应用程序引擎 SDK 中的一个怪癖。

要解决此问题，请缩短任务推迟之前允许的时间（因此一次处理的记录数较少），或者在检查已过去的时间时，您还可以检查处理的记录数是否仍在范围内。例如，如果 time.time() > end_time 或 count == 2000。重置计数并推迟任务。 2000是一个任意数字，我不确定限制应该是多少。

编辑：

进行上述更改后，永远不会完成执行。正在调用 with_cursor(cursor) 代码，但似乎每次都从头开始。我错过了一些明显的东西吗？

导致异常的代码如下：

表“Transact”有 4800 行。当 time.time() > 时调用 transacts.cursor() 时会出现错误end_time 为真。请求游标时已处理了 4510 条记录，这似乎导致了错误（在开发服务器上，在其他地方没有测试过）。

def some_task(trans):
  tts = db.get(trans)
  for t in tts:
    #logging.info('in some_task')
    pass


def test_cursor(request):
  ret = test_cursor_task()


def test_cursor_task(cursor = None):
  startDate = datetime.datetime(2010,7,30)
  endDate = datetime.datetime(2010,8,30)
  end_time = time.time() + 20.0   
  transacts = Transact.all().filter('transactionDate >', startDate).filter('transactionDate <=',endDate)

  count =0
  if cursor:
      transacts.with_cursor(cursor)
  trans =[]
  logging.info('queue_trans')
  for tran in transacts:
    count+=1
    #trans.append(str(tran))   
    trans.append(str(tran.key()))   

    if len(trans)==20:
            deferred.defer(some_task, trans,  _countdown = 500)                
            trans =[]            
    if time.time() > end_time:
        logging.info(count)            
        if len(trans)>0:                
           deferred.defer(some_task, trans, _countdown = 500)
           trans =[]
        logging.info('time limit exceeded setting next call to queue')
        cursor = transacts.cursor()
        deferred.defer(test_cursor_task, cursor)
        logging.info('returning false')
        return False


    return True


  return HttpResponse('')

希望这对某人有帮助。

谢谢 伯特

Answer 1

在不使用 iter 功能的情况下再试一次：

#...
CHUNK = 500
objs = transacts.fetch(CHUNK)

for tran in objs:
    do_your_stuff

if len(objs) == CHUNK:
    deferred.defer(my_task_again, cursor=str(transacts.cursor()))

这对我有用。