如何在 Perl 中从固定宽度格式中提取列？

Question

我正在编写一个 Perl 脚本来运行并抓取各种数据元素，例如：

1253592000
1253678400                 86400                 6183.000000
1253764800                 86400                 4486.000000 
1253851200  36.000000      86400                10669.000000
1253937600  0.000000       86400                 9126.000000
1254024000  0.000000       86400                 2930.000000
1254110400  0.000000       86400                 2895.000000
1254196800  0.000000                             8828.000000

我可以毫无问题地抓取该文本文件的每一行。

我有工作正则表达式来获取每个字段。一旦我将行放入变量中，即 $line - 如何获取每个字段并将它们放入自己的变量中，即使它们具有不同的分隔符？

Answer 1

此示例说明如何使用空格作为分隔符 (split) 或使用固定列布局（unpack）。使用 unpack 如果您使用大写字母（A10 等），将为您删除空格。 注意：正如 brian d foy 指出的那样，split 方法对于缺少字段（例如第二行数据）的情况效果不佳，因为该字段位置信息将会丢失； unpack 是此处的方法，除非我们误解了您的数据。

use strict;
use warnings;

while (my $line = <DATA>){
    chomp $line;
    my @fields_whitespace = split m'\s+', $line;
    my @fields_fixed = unpack('a10 a10 a12 a28', $line);
}

__DATA__
1253592000                                                  
1253678400                 86400                 6183.000000
1253764800                 86400                 4486.000000
1253851200 36.000000       86400                10669.000000
1253937600  0.000000       86400                 9126.000000
1254024000  0.000000       86400                 2930.000000
1254110400  0.000000       86400                 2895.000000
1254196800  0.000000                             8828.000000

Answer 2

使用 我的模块 DataExtract::FixedWidth 。它是功能最齐全且经过充分测试的，适用于在 Perl 中使用固定宽度列。如果这还不够快，您可以传入 unpack_string 并消除对边界进行启发式检测的需要。

#!/usr/bin/env perl
use strict;
use warnings;
use DataExtract::FixedWidth;
use feature ':5.10';

my @rows = <DATA>;
my $de = DataExtract::FixedWidth->new({
  heuristic => \@rows
  , header_row => undef
});

say join ('|',  @{$de->parse($_)}) for @rows;

    --alternatively if you want header info--

my @rows = <DATA>;
my $de = DataExtract::FixedWidth->new({
  heuristic => \@rows
  , header_row => undef
  , cols => [qw/timestamp field2 period field4/]
});

use Data::Dumper;
warn Dumper $de->parse_hash($_) for @rows;

__DATA__
1253592000
1253678400                 86400                 6183.000000
1253764800                 86400                 4486.000000
1253851200  36.000000      86400                10669.000000
1253937600  0.000000       86400                 9126.000000
1254024000  0.000000       86400                 2930.000000
1254110400  0.000000       86400                 2895.000000
1254196800  0.000000                             8828.000000

Answer 3

我不确定列名称和格式，但您应该能够使用 Text::FixedWidth

use strict;
use warnings;
use Text::FixedWidth;

my $fw = Text::FixedWidth->new;
$fw->set_attributes(
    qw(
        timestamp undef  %10s
        field2    undef  %10s
        period    undef  %12s
        field4    undef  %28s
        )
);

while (<DATA>) {
    $fw->parse( string => $_ );
    print $fw->get_timestamp . "\n";
}

__DATA__
1253592000
1253678400                 86400                 6183.000000
1253764800                 86400                 4486.000000
1253851200 36.000000       86400                10669.000000
1253937600  0.000000       86400                 9126.000000
1254024000  0.000000       86400                 2930.000000
1254110400  0.000000       86400                 2895.000000
1254196800  0.000000                             8828.000000

Answer 4

您可以分割线。看起来你的分隔符只是空格？您可以执行以下操作：

@line = split(" ", $line);

这将匹配所有空白。然后，您可以进行边界检查并通过 $line[0]、$line[1] 等访问每个字段。Split

还可以采用正则表达式而不是字符串作为分隔符。

@line = split(/\s+/, $line);

这可能会做同样的事情。

Answer 5

如果所有字段都具有相同固定宽度并使用空格格式化，则可以使用以下分割：

@array = split / {1,N}/, $line;

其中N是字段的with 。这将为每个空字段产生一个空间。

Answer 6

固定宽度定界可以这样完成：

my @cols;
my %header;
$header{field1} = 0; // char position of first char in field
$header{field2} = 12;
$header{field3} = 15;

while(<IN>) {

   print chomp(substr $_, $header{field2}, $header{field3}); // value of field2 


}

我的 Perl 非常生疏，所以我确信那里存在语法错误。但这就是要点。