如何限制 AppEngine 上的 appengine-mapreduce?

发布于 11-07 09:42 字数 195 浏览 4 评论 0原文

http://code.google.com/p/appengine-mapreduce/ 提到它可以控制执行速度,但我不知道如何控制。为映射器作业创建一个任务队列并从那里控制速度是有意义的,但我不知道如何指定要使用哪个队列。

http://code.google.com/p/appengine-mapreduce/ mentions that it can control the speed of execution, but I can't figure out how. It would make sense to create a task queue for a mapper job and control the speed from there, but I don't see how to specify which queue to use.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

久伴你2024-11-14 09:42:16

(感谢 Chris 的指点,但之后需要进行一些挖掘才能找到确切的参数。)

来自 http://code.google.com/p/appengine-mapreduce/wiki/UserGuideJava 将此添加到您的 mapreduce.xml 配置元素中,以限制每秒处理的实体数量:

<property>
    <name>mapreduce.mapper.inputprocessingrate</name>
    <value>4</value>
</property>

(Thanks to Chris for the pointer, but it took a bit of digging after that to find the exact parameter.)

From http://code.google.com/p/appengine-mapreduce/wiki/UserGuideJava add this to your mapreduce.xml configuration element to limit the number of entities processed per second:

<property>
    <name>mapreduce.mapper.inputprocessingrate</name>
    <value>4</value>
</property>
徒留西风2024-11-14 09:42:16

我自己不使用 Java 版本,但 Python 版本有一个 processing_rate 参数,您可以将其传递给映射器规范。

在 Java 源代码中快速搜索会发现 MAPPER_INPUT_PROCESSING_RATE_KEY 配置键,希望它能为您指明正确的方向。

I don't use the Java version myself, but the Python version has a processing_rate param that you pass to the mapper spec.

A quick search in the Java source reveals a MAPPER_INPUT_PROCESSING_RATE_KEY config key, which hopefully points you in the right direction.

小巷里的女流氓2024-11-14 09:42:16

对于使用 python 的用户,您可能需要在 model.py 中搜索名为“_DEFAULT_PROCESSING_RATE_PER_SEC”的变量,以提高每秒的默认处理速率。这对我有用!

For users using python, you may want to search for this variable known as "_DEFAULT_PROCESSING_RATE_PER_SEC" in model.py to increase the default processing rate per second. That worked for me!

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文