Amazon Elastic Map Reduce - 保持服务器处于活动状态？

Question

我正在 EMR 中测试作业，每个测试都需要很长时间才能启动。有没有办法让服务器/主节点在 Amazon EMR 中保持活动状态？我知道这可以通过 API 来完成。但是，我想知道这是否可以在 aws 控制台中完成？

Answer 1

您无法从 AWS 控制台执行此操作。引用开发者指南

AWS 管理控制台中的 Amazon Elastic MapReduce 选项卡不支持向作业流程添加步骤。

您只能通过 CLI 和 API 创建作业流程，然后向其中添加步骤来执行此操作。

$ ./elastic-mapreduce --create --active --stream

Answer 2

您无法使用 Web 控制台执行此操作 - 但通过 API 和编程工具，您将能够向长时间运行的作业添加多个步骤，这就是我所做的。这样，您就可以在同一个长期运行的集群上一个接一个地启动作业，而不必每次都重新创建一个新作业。

如果您熟悉 Python，我强烈推荐 Boto 库。其他 AWS API 工具也可以让您执行此操作。

如果您遵循 Boto EMR 教程，您会发现一些示例

：给你一个想法，这就是我所做的（对于流作业）：

# Connect to EMR
conn = boto.connect_emr()

# Start long-running job, don't forget keep_alive setting
jobid = conn.run_jobflow(name='My jobflow',
                          log_uri='s3://<my log uri>/jobflow_logs',
                          keep_alive=True)

# Create your streaming job
step = StreamingStep(...)

# Add the step to the job
conn.add_jobflow_steps(jobid, [step])

# Wait till its complete
while True:
  state = conn.describe_jobflow(jobid).steps[-1].state
  if (state == "COMPLETED"):
    break
  if (state == "FAILED") or (state == "TERMINATED") or (state == "CANCELLED"):
    print >> sys.stderr, ("EMR job failed! Message = %s!") % (state)
    sys.exit(1)
  time.sleep (60)

# Create your next job here and add it to the EMR cluster
step = StreamingStep(...)
conn.add_jobflow_steps(jobid, [step])

# Repeat :)

Answer 3

为了让机器保持活力，启动一个交互式的猪会话。然后机器就不会关机了。然后，您可以使用以下命令从命令行执行映射/归约逻辑：

cat infile.txt | yourMapper | sort | yourReducer > outfile.txt