如何为简单的 MapReduce 作业指定 BlobstoreOutputWriter 的文件名?

发布于 2024-12-09 03:50:34 字数 472 浏览 0 评论 0原文

如何或在哪里指定 GAE MapReduce 作业的 output_writer 文件名和内容类型?下面的配置对我来说工作正常,但每次运行作业时它都会创建一个带有新文件名的新 blobstore 条目。我希望能够指定每次运行 MapReduce 作业时要覆盖/替换的文件名和内容类型。

我的处理程序正在为 csv 文件写入文本行。

mapreduce:
- name: Export a model
  mapper:
    input_reader: mapreduce.input_readers.DatastoreInputReader
    output_writer: mapreduce.output_writers.BlobstoreOutputWriter
    handler: export_model
    params:
    - name: entity_kind
      default: models.MyModel 

How or where do I specify the output_writer filename and content type for a GAE mapreduce job? This configuration below is working fine for me, but it creates a new blobstore entry with a new filename every time I run the job. I would like to be able to specify the filename and content type to be overwritten/replaced each time that I run the mapreduce job.

My handler is writing out lines of text for a csv file.

mapreduce:
- name: Export a model
  mapper:
    input_reader: mapreduce.input_readers.DatastoreInputReader
    output_writer: mapreduce.output_writers.BlobstoreOutputWriter
    handler: export_model
    params:
    - name: entity_kind
      default: models.MyModel 

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

泡沫很甜 2024-12-16 03:50:34

output_writer 的东西仍然是实验性的。目前还没有指定输出文件名的规定。您可以按照演示应用中的示例< /a> 并使用间接:将输出博客的 BlobKey 附加到您选择的包含所需名称的实体)。

查找

yield StoreOutput("WordCount", filekey, output)

main.py

The output_writer stuff is still experimental. There's no provision for specifying output filenames yet. You can follow the example in the demo app and use indirection: Attach the BlobKey of the output blog to an Entity of your choice that holds your desired name).

Look for

yield StoreOutput("WordCount", filekey, output)

in main.py

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文