使用 Docker 时的 EMR Spark 部署模式

Question

我正在在AWS EMR中部署Spark Job，并使用Docker包装所有依赖关系。我的pythonized spark提交命令看起来像是这样

    ...
    cmd = (
            f"spark-submit --deploy-mode cluster "
            f"spark-submit --deploy-mode {deploy_mode} "
            f"--conf spark.executorEnv.YARN_CONTAINER_RUNTIME_TYPE=docker "
            f"--conf spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_IMAGE={docker_image} "
            f"--conf spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_CLIENT_CONFIG={config} "
            f"--conf spark.executorEnv.YARN_CONTAINER_RUNTIME_DOCKER_MOUNTS=/etc/passwd:/etc/passwd:ro "
            f"--conf spark.yarn.appMasterEnv.YARN_CONTAINER_RUNTIME_TYPE=docker "
            f"--conf spark.yarn.appMasterEnv.YARN_CONTAINER_RUNTIME_DOCKER_IMAGE={docker_image} "
            f"--conf spark.yarn.appMasterEnv.YARN_CONTAINER_RUNTIME_DOCKER_CLIENT_CONFIG={config} "
            f"--conf spark.yarn.appMasterEnv.YARN_CONTAINER_RUNTIME_DOCKER_MOUNTS=/etc/passwd:/etc/passwd:ro "
            f"{path}"
        )
    ...

，当我的 devoly_mode 是群集时，它正常工作，但是当 deploys> devoly_mode 是客户端时，我看不到任何docker依赖性。谁能帮忙为什么会发生这种情况，而且正常吗？

Answer 1

Docker容器由YARN在EMR上管理：

在客户端模式下，您的火花驱动程序不在Docker容器中运行，因为该过程不受YARN的管理，它直接在运行 Spark-Submit 命令的节点上执行。
在群集模式下，您的驱动程序由纱线管理，并在Docker容器中执行。