如何在 GAE Python 上从 cron 启动 MapReduce 作业

Question

我在mapreduce.yaml中定义了mapreduce作业：

mapreduce:
- name: JobName 
  mapper:
    input_reader: google.appengine.ext.mapreduce.input_readers.DatastoreInputReader
    handler: handler_name
    params:
    - name: entity_kind
      default: KindName

如何从cron启动它？有一些可以运行它的网址吗？

Answer 1

您可以使用 control.py

from mapreduce import control

mapreduce_id = control.start_map(
    "My Mapper",
    "main.my_mapper",
    "mapreduce.input_readers.DatastoreInputReader",
    {"entity_kind": "models.MyEntity"},
    shard_count=10)

Answer 2

是的，如果您查看入门页面，就会发现您在 app.yaml 中设置 URL：

handlers:
- url: /mapreduce(/.*)?
  script: mapreduce/main.py
  login: admin

然后您可以按照通常的 App Engine 方式对其进行 cron，在本例中将编写一个 cron.yaml，如下所示：

cron:
- description: daily summary job
  url: /mapreduce
  schedule: every 24 hours