使用JQ替换后，将JSON传递给AWS胶水创建工作

Question

我有以下我执行的bash脚本，以通过CLI创建新的胶作业：

#!/usr/bin/env bash

set -e
NAME=$1
PROFILE=$2
SCRIPT_LOCATION='s3://bucket/scripts/'$1'.py'

echo [*]--- Creating new job on AWS
aws glue create-job --profile $PROFILE --name $NAME --cli-input-json | jq '.Command.ScriptLocation = '\"$SCRIPT_LOCATION\"'' ./resources/config.json

我正在使用 jq ，因为我需要在运行时替换的值之一，然后才能通过 。如何将替换值的JSON传递给此命令？截至目前，它打印出JSON内容（尽管已更换了值）。 在上面运行命令会导致以下错误：

[*]--- Creating new job on AWS
{
  "Description": "Template for Glue Job",
  "LogUri": "",
  "Role": "arn:aws:iam::11111111111:role/role",
  "ExecutionProperty": {
    "MaxConcurrentRuns": 1
  },
  "Command": {
    "Name": "glueetl",
    "ScriptLocation": "s3://bucket/scripts/script.py",
    "PythonVersion": "3"
  },
  "DefaultArguments": {
    "--TempDir": "s3://temp/admin/",
    "--job-bookmark-option": "job-bookmark-disable",
    "--enable-metrics": "",
    "--enable-glue-datacatalog": "",
    "--enable-continuous-cloudwatch-log": "",
    "--enable-spark-ui": "true",
    "--spark-event-logs-path": "s3://assets/sparkHistoryLogs/"
  },
  "NonOverridableArguments": {
    "KeyName": ""
  },
  "MaxRetries": 0,
  "AllocatedCapacity": 0,
  "Timeout": 2880,
  "MaxCapacity": 0,
  "Tags": {
    "KeyName": ""
  },
  "NotificationProperty": {
    "NotifyDelayAfter": 60
  },
  "GlueVersion": "3.0",
  "NumberOfWorkers": 2,
  "WorkerType": "G.1X"
}

usage: aws [options] <command> <subcommand> [<subcommand> ...] [parameters]
To see help text, you can run:

  aws help
  aws <command> help
  aws <command> <subcommand> help

aws.exe: error: argument --cli-input-json: expected one argument

Answer 1

命令行
aws胶创建job - profile $ profile -name $ name-cli-input-json | JQ'.Command.ScriptLocation ='\“ $ Script_location \”'''./ resources/config.json
执行命令
AWS胶创建JOB - profile $ profile -name $ name-cli-input-json，
采用其标准输出并将其用作输入
JQ'.Command.ScriptLocation ='\“ $ Script_location \”''./ resources/config.json
（它将忽略输入并从给出的文件中读取）。另请注意，$ script_location中的空白或空格会破坏您的脚本，因为它没有引用（您的报价已关闭）。

要在另一个命令的参数列表中使用一个命令的输出，您必须使用命令替换：outer_command -some-arg” $（innit_command）”。

因此，您的命令应成为：

aws glue create-job --profile $PROFILE --name $NAME --cli-input-json "$(jq '.Command.ScriptLocation = "'"$SCRIPT_LOCATION"'"' ./resources/config.json)"
# or simplified with only double quotes:
aws glue create-job --profile $PROFILE --name $NAME --cli-input-json "$(jq ".Command.ScriptLocation = \"$SCRIPT_LOCATION\"" ./resources/config.json)"

请参阅 https://superuser.com /Question/1306071/aws-cli using-cli-input-json-in-a-a-pipeline 以获取其他示例。

虽然，我必须承认我不是100％确定可以直接在命令行上传递JSON内容。通过查看文档和一些官方示例，看起来此参数期望文件名，而不是JSON文档的内容。因此，实际上您的命令可能需要：

# if "-" filename is specially handled:
jq ".Command.ScriptLocation = \"$SCRIPT_LOCATION\"" ./resources/config.json | aws glue create-job --profile $PROFILE --name $NAME --cli-input-json -
# "-" filename not recognized:
jq ".Command.ScriptLocation = \"$SCRIPT_LOCATION\"" ./resources/config.json > ./resources/config.replaced.json && aws glue create-job --profile $PROFILE --name $NAME --cli-input-json file://./resources/config.replaced.json

让我们知道哪一个起作用。