App Engine：检查数据存储中数据更新的最佳方法，同时避免数据存储写入

Question

我的数据存储中有大量来自外部数据源的实体（产品）。我想每天检查它们的更新。

有些项目已经更新，因为应用程序直接获取它们。有些是新插入的，不需要更新。

对于尚未获取的内容，我正在运行 cron 作业。我使用Python API。

目前我执行以下操作。

我有一个字段

dateupdated = db.DateTimeProperty(auto_now_add=True)

，然后可以使用它

query = dbmodel.product.all()
query.filter('dateupdated <', newdate)
query.order('dateupdated')        
results = query.fetch(limit=mylimit, offset=myoffset)

来选择最旧的条目并安排它们进行更新。我使用具有自定义任务名称的任务队列来确保每个产品更新每天仅运行一次。

问题是，我需要更新字段 dateupdated，这意味着数据存储写入，即使产品的数据没有更改，只是为了跟踪更新过程。

这会消耗大量资源（CPU 时间、数据存储 API 调用等）。

是否有更好的方法来执行此类任务并避免不必要的数据存储写入？

Answer 1

是的，使用游标

通过按 dateupdated 然后在处理完实体后存储游标，您可以稍后重新运行相同的查询以仅获取上次查询后更新的项目。

因此，给定一个像这样的类，

class MyEntity(db.model):
    dateupdated = db.DateTimeProperty(auto_now_add=True)

您可以设置一个处理程序作为任务运行，例如：

class ProcessNewEntities(webapp.RequestHandler):
    def get(self):
        """Run via a task to process batches of 'batch_size' 
        recently updated entities"""
        # number of eneities to process per task execution
        batch_size = 100
        # build the basic query
        q = MyEntity.all().order("dateupdated")
        # use a cursor?
        cursor = self.request.get("cursor")
        if cursor:
            q.with_cursor(cursor)
        # fetch the batch
        entities = q.fetch(batch_size)
        for entity in entities:
            # process the entity
            do_your_processing(entity)
        # queue up the next task to process the next 100
        # if we have no more to process then delay this task 
        # for a while so that it doesn't hog the application
        delay = 600 if len(entities)<batch_size else 0
        taskqueue.add(
            url='/tasks/process_new_entities', 
            params={'cursor': q.cursor()},
            countdown=delay)

然后您只需要触发任务执行的开始，例如：

def start_processing_entities():
    taskqueue.add(url='/tasks/process_new_entities')