解析逗号分隔的 csv 文件的问题

Question

我正在尝试使用此命令从 csv 文件中提取第四列（以逗号分隔，并跳过前 2 个标题行），

 awk 'NR <2 {next}{FS =","}{print $4}' filename.csv | more

但是，它不起作用，因为第一列可以包含逗号，因此第四列并不是真正的第四列。以下是行的示例：

“sdfsdfsd，sfsdf”，454，fgdfg，I_want_this_column，sdfgdg，34546，456465等

Answer 1

除非您有使用 awk 的特定原因，否则我建议使用 CSV 解析库。许多脚本语言都有一个内置的（或至少可用的），它们可以帮助您摆脱这些令人头疼的问题。

Answer 2

如果你的第一列总是有引号，

 $ awk 'BEGIN{ FS="\042[ ]*," } { m=split($2,a,","); print a[3] } ' file
 I_want_this_column

如果你想要的列总是最后第二列，

$ awk -F"," '{print $(NF-1)}' file
 I_want_this_column

你可以尝试这个演示脚本来分解列

awk 'BEGIN{ FS="," }
{
   for(i=1;i<=NF;i++){
      # save normal
      if($i !~ /^[ ]*\042|[ ]*\042[ ]*$/){
        a[++j]=$i
      }
      # if quotes at the end
      if(f==1 && $i ~ /[ ]*\042[ ]*$/){
        s=s","$i
        a[++j]=s
        #reset
        s="";f=0
      }
      # if quotes in front
      if($i ~ /^[ ]*\042/){
        s=s $i
        f=1
      }
      if(f==1 && ( $i !~/\042/ ) ){
         s=s","$i
      }
   }
}
END{
  # print columns
  for(p=1;p<=j;p++){
     print "Field "p,": "a[p]
  }
} ' file

输出

$ cat file
"sdfsdfsd, sfsdf", "454,fgdfg blah , words ", I_want_this_column,sdfgdg

$ ./shell.sh
Field 1 : "sdfsdfsd, sfsdf"
Field 2 : fgdfg blah
Field 3 :  "454,fgdfg blah , words "
Field 4 :  I_want_this_column
Field 5 : sdfgdg

Answer 3

你不应该在这里使用 awk。使用 Python csv 模块或 Perl Text::CSV 或 Text::CSV_XS 模块或其他模块真正的 csv 解析器。

相关问题-
使用 gawk 解析 csv 文件

Answer 4

如果您无法避免 awk，这段代码可以完成您需要的工作：

BEGIN {FS=",";}

{
        f=0;
        j=0;
        for (i = 1; i <=NF ; ++i) {
                if (f) {
                        a[j] = a[j] "," $(i);
                        if ($(i) ~ "\"$") {
                                f = 0;
                        }
                }
                else {
                        ++j;
                        a[j] = $(i);
                        if ((a[j] ~ "^\"[^\"]*$")) {
                                f = 1;
                        }
                }
        }
        for (i = 1; i <= j; ++i) {
                gsub("^\"","",a[i]);
                gsub("\"$","",a[i]);
                gsub("\"\"","\"",a[i]);
print "i = \"" a[i] "\"";
        }
}

Answer 5

使用标准 UNIX 文本工具处理包含带逗号的引号字段的 CSV 文件可能会很困难。

我编写了一个名为 csvquote 的程序，使他们能够轻松处理数据。在您的情况下，您可以像这样使用它：

csvquote filename.csv | awk 'NR <2 {next}{FS =","}{print $4}' | csvquote -u | more

或者您可以像这样使用剪切和尾部：

csvquote filename.csv | tail -n +3 | cut -d, -f4 | csvquote -u | more

代码和文档在这里： https://github.com/dbro/csvquote