Perl 脚本（或任何东西）来合计 CSV 列

Question

我（在其他人的大量帮助下）写了一个 awk 命令 对 CSV 文件中的列进行总计。不幸的是，我在谷歌搜索后了解到，awk 并不擅长处理 CSV 文件，因为分隔符并不总是相同（即逗号在引号引起来时应该被忽略）。

看起来也许 Perl 脚本可以做得更好。是否有可能有一个一行 Perl 脚本（或几乎同样简洁的脚本）来实现与此 awk 命令相同的功能，该命令总计 CSV 文件的第 5 列？

cat file.csv | awk -F "\"*,\"*" '{s+=$5} END {printf("%01.2f\n", s)}'

我并不是特别喜欢 Perl，但我希望避免编写成熟的 PHP 脚本。此时我已经可以轻松编写 PHP 脚本了，但现在我已经走到这一步了，我想看看我是否可以遵循它。

Answer 1

您需要使用一个像样的 CSV 解析器来处理 CSV 格式的所有复杂性。 Text::CSV_XS （或 Text::CSV（如果不可用）是首选之一。

perl -e '{use Text::CSV_XS; my $csv=Text::CSV_XS->new(); open my $fh, "<", "file.csv" or die "file.csv: $!"; my $sum = 0; while (my $row = $csv->getline ($fh)) {$sum += $row->[4]}; close $fh; print "$sum\n";}'

这是实际的 Perl 代码，为了更好的可读性

use Text::CSV_XS; # use the parser library
my $csv = Text::CSV_XS->new(); # Create parser object
open my $fh, "<", "file.csv" or die "file.csv: $!"; # Open the file. 
my $sum = 0; 
while (my $row = $csv->getline ($fh)) { # $row is array of field values now
    $sum += $row->[4];
}
close $fh; 
print "$sum\n";

---

可以通过使用质量稍差但更密集的 Perl 来缩短上面的内容：

cat file.csv | perl -MText::CSV_XS -nae '$csv=Text::CSV_XS->new(); 
               $csv->parse($_); @f=$csv->fields(); $s+=$f[4]} { print "$s\n"'

Answer 2

您反对使用 Perl 模块吗？您可以使用 Text::CSV 轻松完成此操作，而无需使用自己的解析器。

教程代码段更改为执行总计：

# ... some tutorial code ommited
while (<CSV>) {
    if ($csv->parse($_)) {
        my @columns = $csv->fields();
        $total += $columns[4];
    } else {
        my $err = $csv->error_input;
        print "Failed to parse line: $err";
    }
}
print "total: $total\n";

Answer 3

Python

import csv
with open( "some_file.csv", "rb" ) as source:
    rdr= csv.reader( source )
    col_5= 0
    for row in rdr:
        col_5 += row[5]
print col_5

不是一句简单的话，但相当简洁。

Answer 4

有很多工具可以做到这一点。快速搜索“cli csvparser”让我找到了几个工具（我显然无法链接到这些工具——可能是为了防止垃圾邮件）。

我安装了我找到的第一个工具 - csvtool - 并且能够执行与您类似的命令行并获得总计。

Answer 5

非常短（且快速）的解决方案：

perl -MText::CSV_XS -E'$c=new Text::CSV_XS;$s+=$r->[4]while$r=$c->getline(*ARGV);say$s' file.csv