jq 变量替换在 shell 中有效，但在脚本中无效

Question

以下命令在 shell 中运行良好，但通过脚本执行时则不然。我缺少什么。

jsonSelectWords='select(.words!=6) | select(.words!=1173) | select(.words!=1) | select(.words!=8) | select(.words!=9) | select(.words!=27)'

cat file.json | jq "$jsonSelectWords"

在脚本中，选择语句是动态创建的，因此我无法直接提供它。

input=file.json

local jsonSelectWords="'"
for word in "${wordDupArray[@]}"
do
    jsonSelectWords+="select(.words!=$word) | "
done
jsonSelectWords="${jsonSelectWords::-3}"
jsonSelectWords+="'"


cat $input | jq "$jsonSelectWords"

执行最后一行会出现以下错误。

jq: error: syntax error, unexpected INVALID_CHARACTER, expecting $end (Unix shell quoting issues?) at <top-level>, line 1:

'select(.words!=6) | select(.words!=1173) | select(.words!=1) | select(.words!=8) | select(.words!=9) | select(.words!=27)'

jq: 1 compile error

任何提示。它尝试了不同的变体以及 $(cat $input | jq "$jsonSelectWords") 中的整个语句

我还使用了以下内容 <代码>猫$输入| jq --args JSW "$jsonSelectWords" '$JSW' （从初始字符串中删除单引号，使用 '[$JSW]' 等）。这只是输出 jsonSelectWords 的内容。

以下几行是 file.json 又名 $input 的内容示例。

{"timestamp":"2022-03-09T12:30:23.329630917+01:00","scheme":"http","port":"80","path":"/","body-sha256":"0bfc0bdeb920ce4701f130e6e6a33c8aaf558fae44c7479cc1629930cb0f4535","header-sha256":"d9522b92bb09e71b719804f522f0b3b49aa77974c8d79e644fb45a7b3327f73e","a":["81.91.86.14"],"url":"http://01.akce.omv.com:80","input":"01.akce.omv.com","location":"https://01.akce.omv.com/","webserver":"openresty","content-type":"text/html","method":"GET","host":"81.91.86.14","content-length":95,"status-code":301,"response-time":"194.004475ms","failed":false,"lines":3,"words":6}
{"timestamp":"2022-03-09T12:30:23.355007661+01:00","scheme":"http","port":"80","path":"/","body-sha256":"d6285599bd6f2851fc17e0244ad212a58d8d539231f804f81b5b98289197afa0","header-sha256":"96884ec058c78d0ea282a2d51be4ce0f5c7bc05d8fe3e8dd8f6fb73dd4fa2cd6","a":["81.91.86.14","40.90.4.7","64.4.48.7","2603:1061::7","2620:1ec:8ec::7"],"url":"http://09-mail2.akce.omv.com:80","input":"09-mail2.akce.omv.com","location":"https://09-mail2.akce.omv.com/","webserver":"openresty","content-type":"text/html","method":"GET","host":"81.91.86.14","content-length":101,"status-code":301,"response-time":"233.377898ms","failed":false,"lines":3,"words":6}
{"timestamp":"2022-03-09T12:30:23.450849812+01:00","scheme":"http","port":"80","path":"/","body-sha256":"c186820e328bf631a2943f77e52e9e8319ddfefade6d308a2a22ef996176bbe6","header-sha256":"61e4f3139518b49cac86b77a4f9f06da98d53f2eb12dbff574b5a0ea66327478","a":["81.91.86.14"],"url":"http://09-server2.akce.omv.com:80","input":"09-server2.akce.omv.com","location":"https://09-server2.akce.omv.com/","webserver":"openresty","content-type":"text/html","method":"GET","host":"81.91.86.14","content-length":103,"status-code":301,"response-time":"268.856986ms","failed":false,"lines":3,"words":6}

解决方案

local jsonSelectWords=""
for word in "${wordDupArray[@]}"
do
    jsonSelectWords+="select(.words!=$word) | "
done
jsonSelectWords="${jsonSelectWords::-3}"

cat $input | jq "$jsonSelectWords"

Answer 1

以编程方式生成正在执行的代码（这里是生成并运行 jq 过滤器的 bash 脚本）通常被认为不仅可读性较差（jq 中发生的事情非常分散），而且更容易出错（这实际上将您带到了这里），而且也是一个主要的安全风险（在复杂的依赖链中，您可能无法完全控制最终执行的内容）。

因此，您应该尝试修改您的方法，使唯一的变量是正在输入的数据，而代码的制定方式可以对变化的数据做出反应，但其本身只是一个文字不变的字符串。

给定您的示例（我认为上面的代码只是与实际问题相关的一个小片段，因此让它更多地成为一个提示指南而不是一般解决方案），您正在尝试减少来自 file.json 通过将其 words 字段的数字内容与存储在 bash 数组 wordDupArray 中的数字列表进行比较。更具体地说，给定一个输入对象，如果 .words 包含的数字不存在于所提供的数字列表中，则您希望将其传递到输出，否则如果数字 < em>出现在列表中。让我们来实现它。

如果给 jq 一个对象流，它将一一处理它们，因此已经自动将输入流分解为单个对象。对于比较部分，需要向 jq 提供 bash 数组中的数字列表。由于 jq 是一个 JSON 处理器，因此最好以 JSON 数组的形式提供列表，因此当前的任务是将 bash 数组转换为 JSON 数组。

有很多方法可以实现这一点。由于数组仅包含数字，因此您可以利用数字本身已经是有效 JSON 文档的事实，因此一种方法可能是进行另一个 jq 调用，该调用接受数字流并将它们输出为 JSON 编码使用 --slurp （或 -s）选项创建数组，然后返回 bash，将该输出存储在变量中并将其提供给实际的 jq 调用，使用--argjson选项，它允许您将 JSON 数组作为 jq 内的变量进行访问。

wordDupArray=(6 1173 1 8 9 27)                   # dummy init of your bash array
jsonarray="$(jq -sc <<< "${wordDupArray[@]}")"   # will contain "[6,1173,1,8,9,27]"
jq --argjson list "$jsonarray" ' … jq filter using the array in $list … ' file.json

为了实现变化，另一种方法可能是使用 --slurpfile 选项，该选项本身已经将 JSON 文档流组合到 JSON 数组中，并且类似地允许您使用变量访问该数组。但主要区别在于，它要求文档以文件形式提供，而不是 JSON 编码的字符串。这可以通过在 bash 中使用 进程替换 来模仿：

wordDupArray=(6 1173 1 8 9 27)                   # dummy init of your bash array
jq --slurpfile list <(cat <<< "${wordDupArray[@]}") ' … using $list … ' file.json

对于主要任务，根据 $list 数组中的匹配从 file.json 中过滤输入对象，您可以像以前一样检查不等式，但现在使用数组的项目相反，使用 $list[] ，并使用 all 函数检查给定条件是否适用于所有项（全部为true意味着没有匹配项）。

jq --slurpfile list <(cat <<< "${wordDupArray[@]}") \
  'select([.words != $list[]] | all)' file.json

演示

同样，为了变化，您也可以使用 IN 函数，返回给定值是否出现在给定流中（不要与 in 函数 混淆用于检查对象中的键），以及 not 功能到选择无法找到匹配项的情况。

jq --slurpfile list <(cat <<< "${wordDupArray[@]}") \
  'select(.words | IN($list[]) | not)' file.json

Demo

总而言之，这些解决方案更加稳定和健壮，因为代码是不变的和独立的，也更容易理解，因为连续的代码更容易遵循，即使在失败的情况下，您也可以期待比通用的“编译错误”更方便的错误消息，如果实际代码执行，则更难跟踪由于其波动性，未知。