如何使用 Perl 计算大型 CSV 文件中的行数？

Question

我在工作中必须在Windows环境下使用Perl，并且我需要能够找出一个大的csv文件包含的行数（大约1.4Gb）。 知道如何以最少的资源浪费来做到这一点吗？

谢谢

PS 这必须在 Perl 脚本内完成，并且我们不允许在系统上安装任何新模块。

Answer 1

你指的是行还是行？ 单元格可能包含换行符，这会将行添加到文件中，但不会添加行。 如果保证没有单元格包含新行，则只需使用 Perl 常见问题。 否则，您将需要一个适当的 CSV 解析器，例如 Text ::xSV。

Answer 2

是的，不要使用 perl。

相反，使用简单的实用程序来计算行数； wc.exe

它是从 unix 原始版本移植的 windows 实用程序套件的一部分。

http://unxutils.sourceforge.net/

例如；

PS D:\> wc test.pl
     12      26     271 test.pl
PS D:\>

其中 12 == 行数，26 == 字数，271 == 字符数。

如果你真的必须使用perl；

D:\>perl -lne "END{print $.;}" < test.pl
12

Answer 3

perl -lne "END { print $. }" myfile.csv

一次只读取一行，因此不会浪费任何内存，除非每一行都非常长。

Answer 4

这一行处理行中的新行：

1. 考虑具有奇数个引号的行。
2. 考虑到双引号是在字段内指示引号的一种方式。

3. 它使用很棒触发器运算符。

   perl -ne 'BEGIN{$re=qr/^[^"]*(?:"[^"]*"[^"]*)*?"[^"]*$/; }END{print"计数：$t\n";}$t++ 除非 /$re/../$re/' 
     

考虑一下：

• wc 不会起作用。 它非常适合计算行数，但不适用于 CSV 行数
• 您应该安装——或者努力安装——Text::CSV 或一些类似的标准包以进行正确处理。
• 尽管如此，这可能会让你到达那里。

---

EDIT: It slipped my mind that this was windows:

perl -ne "BEGIN{$re=qr/^[^\"]*(?:\"[^\"]*\"[^\"]*)*?\"[^\"]*$/;}END{print qq/Count: $t\n/;};$t++ unless $pq and $pq = /$re/../$re/;"

奇怪的是，The Broken OS 的 shell 将 && 解释为操作系统条件执行，而我无法做任何事情来改变它的想法！如果我逃脱了它只是将其传递给 Perl。

Answer 5

支持 edg 的答案，另一个选择是安装 cygwin 来在 Windows 上获取 wc 和其他一些方便的实用程序。

Answer 6

我很白痴，在脚本中执行此操作的简单方法是：

open $extract, "<${extractFileName}" or die ("Cannot read row count of $extractFileName");
$rowCount=0;    
while (<$extract>)
{
    $rowCount=$rowCount+1;
}

close($extract);