如何为简单的 MapReduce 作业指定 BlobstoreOutputWriter 的文件名?
如何或在哪里指定 GAE MapReduce 作业的 output_writer 文件名和内容类型?下面的配置对我来说工作正常,但每次运行作业时它都会创建一个带有新文件名的新 blobstore 条目。我希望能够指定每次运行 MapReduce 作业时要覆盖/替换的文件名和内容类型。
我的处理程序正在为 csv 文件写入文本行。
mapreduce:
- name: Export a model
mapper:
input_reader: mapreduce.input_readers.DatastoreInputReader
output_writer: mapreduce.output_writers.BlobstoreOutputWriter
handler: export_model
params:
- name: entity_kind
default: models.MyModel
How or where do I specify the output_writer filename and content type for a GAE mapreduce job? This configuration below is working fine for me, but it creates a new blobstore entry with a new filename every time I run the job. I would like to be able to specify the filename and content type to be overwritten/replaced each time that I run the mapreduce job.
My handler is writing out lines of text for a csv file.
mapreduce:
- name: Export a model
mapper:
input_reader: mapreduce.input_readers.DatastoreInputReader
output_writer: mapreduce.output_writers.BlobstoreOutputWriter
handler: export_model
params:
- name: entity_kind
default: models.MyModel
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
output_writer 的东西仍然是实验性的。目前还没有指定输出文件名的规定。您可以按照演示应用中的示例< /a> 并使用间接:将输出博客的 BlobKey 附加到您选择的包含所需名称的实体)。
查找
在
main.py
中The output_writer stuff is still experimental. There's no provision for specifying output filenames yet. You can follow the example in the demo app and use indirection: Attach the BlobKey of the output blog to an Entity of your choice that holds your desired name).
Look for
in
main.py