使用 awk 解析字段中包含命令的 csv 文件

Question

我必须使用 awk 打印 csv 文件中的 4 个不同列。问题是字符串采用 $x,xxx.xx 格式。当我运行常规 awk 命令时。

awk -F, {print $1} testfile.csv 

我的输出“最终看起来像

307.00
$132.34
30.23

我做错了什么”。

“$141,818.88”，“$52,831,578.53”，“$52,788,069.53” 这就是大致的输入。我必须解析的文件有 90,000 行和大约 40 列 这就是输入的布局方式，或者至少是我必须处理的部分输入的布局方式。很抱歉，如果我让您认为这不是我所说的。

如果输入为“$307.00”、“$132.34”、“$30.23” 我希望输出位于

$307.00
$132.34
$30.23

Answer 1

奇怪的是，我前段时间不得不解决这个问题，并且我保留了代码来完成它。您几乎已经完成了，但是您需要对字段分隔符进行一些技巧处理。

awk -F'","|^"|"
输入
# cat testfile.csv
"$141,818.88","$52,831,578.53","$52,788,069.53"
"$2,558.20","$482,619.11","$9,687,142.69"
"$786.48","$8,568,159.41","$159,180,818.00"

输出
# awk -F'","|^"|"
您会注意到，由于字段分隔符 ^"，“第一个”字段实际上是 $2。如果您要求，为短的 1-liner 付出的代价很小我。
 '{print $2}' testfile.csv 

输入

输出

您会注意到，由于字段分隔符 ^"，“第一个”字段实际上是 $2。如果您要求，为短的 1-liner 付出的代价很小我。
 '{print $2}' testfile.csv
$141,818.88
$2,558.20
$786.48

您会注意到，由于字段分隔符 ^"，“第一个”字段实际上是 $2。如果您要求，为短的 1-liner 付出的代价很小我。

'{print $2}' testfile.csv

输入

输出

您会注意到，由于字段分隔符 ^"，“第一个”字段实际上是 $2。如果您要求，为短的 1-liner 付出的代价很小我。

Answer 2

我认为您的意思是您希望将输入拆分为 CSV 字段，同时又不会被双引号内的逗号绊倒。如果是这样...

首先，使用 "," 作为字段分隔符，如下所示：

awk -F'","' '{print $1}'

但是，您仍然会在 $1 的开头（以及末尾）得到一个杂散的双引号最后一个字段）。通过使用 gsub 去掉引号来处理这个问题，如下所示：

awk -F'","' '{x=$1; gsub("\"","",x); print x}'

结果：

echo '"abc,def","ghi,xyz"' | awk -F'","' '{x=$1; gsub("\"","",x); print x}'

abc,def

Answer 3

为了让 awk 处理包含字段分隔符的引用字段，您可以使用我编写的一个名为 csvquote 的小脚本。它会暂时用非打印字符替换有问题的逗号，然后在管道末尾恢复它们。像这样：

csvquote testfile.csv | awk -F, {print $1} | csvquote -u

这也适用于任何其他 UNIX 文本处理程序，例如 cut：

csvquote testfile.csv | cut -d, -f1 | csvquote -u

您可以在此处获取 csvquote 代码：https: //github.com/dbro/csvquote

Answer 4

数据文件：

$ cat data.txt
"$307.00","$132.34","$30.23"

AWK脚本：

$ cat csv.awk
BEGIN { RS = "," }
{ gsub("\"", "", $1);
  print $1 }

执行：

$ awk -f csv.awk data.txt
$307.00
$132.34
$30.23