通过 boto 获取 Amazon Elastic MapReduce 作业流程中已完成的步骤数
为了避免每次提交作业时设置实例的开销，我使用在每次作业完成后始终处于等待模式的作业流。但是，根据此页面，“最多 256 个步骤每个作业流程中都允…
为什么elephantbird Pig JsonLoader只处理我的文件的一部分？
我在 Amazon 的 Elastic Map-Reduce 上使用 Pig 来进行批量分析。我的输入文件位于 S3 上，包含每行一个 JSON 字典表示的事件。我使用elephantbird Js…
将大型数据集放到亚马逊弹性地图上减少
我想使用 Amazon EMR 来处理一些大型数据集（25GB 以上，可在 Internet 上下载）。与其将数据集下载到我自己的计算机上，然后将其重新上传到 Amazon …
如何将 Hadoop Streaming 与 LZO 压缩序列文件一起使用？
我正在尝试使用 Amazon 的 Elastic Map Reduce 来处理 Google ngrams 数据集。 http://aws.amazon.com/datasets/8172056142375670 有一个公共数据集，…
在 Hadoop MapReduce 脚本中导入外部库
我正在 Amazon EMR Hadoop 实现之上运行 python MapReduce 脚本。从主脚本中，我得到了项目的相似性。在善后步骤中，我想将此输出拆分到每个项目的单…
我的 boto elastic mapreduce jar 作业流程参数有什么问题？
我正在使用 boto 库在 Amazon Elastic MapReduce Webservice (EMR) 中创建作业流程。以下代码应创建一个步骤： step2 = JarStep(name='Find similiar …
对 Amazon Elastic MapReduce 上的 R 映射器脚本进行故障排除 - 结果不符合预期
我正在尝试使用 Amazon Elastic Map Red 运行一系列数百万个案例的模拟。这是一个没有减速器的 Rscript 流作业。我在 EMR 调用 --reducer org.apache.…
Hadoop 流和 AMAZON EMR
我一直在尝试使用 Amazon EMR 中的 Hadoop 流对一堆文本文件进行简单的字数统计。为了掌握 hadoop 流和 Amazon 的 EMR，我还使用了一个非常简化的数据…
Hadoop 流最大行长度
我正在为 Amazon Elastic MapReduce 开发 Hadoop 流式工作流程，它涉及序列化一些二进制对象并将其流式传输到 Hadoop 中。 Hadoop 对于流输入有最大行…
如何在 Amazon Elastic Mapreduce 之上使用 Hive 来处理 Amazon Simple DB 中的数据？
我在 Amazon Simple DB 域中有大量数据。我想在 Elastic Map Reduce（在 hadoop 之上）上启动 Hive，并以某种方式从 simpledb 导入数据，或者连接到 s…
Amazon Elastic Map Reduce - 保持服务器处于活动状态？
我正在 EMR 中测试作业，每个测试都需要很长时间才能启动。有没有办法让服务器/主节点在 Amazon EMR 中保持活动状态？我知道这可以通过 API 来完成。…
我可以在 Amazon Elastic MapReduce 中运行 .NET 应用程序（或 .NET dll 中的方法）吗？
我需要的是一台功能强大的机器，每天运行我的 .NET 代码一小时。 我无法使用 EC2，因为它会在关闭时丢失我的所有数据。 我需要一台可以在特定时间启动…
