在 Perl 中解析多行数据

Question

我有一些数据需要分析。数据是多行的，每个块由换行符分隔。所以，就像这样，

Property 1: 1234
Property 2: 34546
Property 3: ACBGD

Property 1: 1234
Property 4: 4567

Property 1: just
Property 3: an
Property 5: simple
Property 6: example

我需要过滤掉那些存在某些特定属性的数据块。例如，仅那些具有属性 4 的块，仅具有属性 3 和 6 的块等。我可能还需要根据这些属性的值进行选择，因此例如仅那些具有属性 3 且其值为 '一个'。

我将如何在 Perl 中做到这一点。我尝试用“\n”分割它，但似乎无法正常工作。我错过了什么吗？

Answer 1

使这个任务变得简单的秘诀是使用 $/ 变量将 Perl 置于“段落模式”。这样可以轻松地一次处理一个记录。然后你可以用 grep 之类的东西过滤它们。

#!/usr/bin/perl

use strict;
use warnings;

my @data = do {
  local $/ = '';
  <DATA>;
};

my @with_4   = grep { /^Property 4:/m } @data;

my @with_3   = grep { /^Property 3:/m } @data;
my @with_3_6 = grep { /^Property 6:/m } @with_3;

print scalar @with_3_6;

__DATA__
Property 1: 1234
Property 2: 34546
Property 3: ACBGD

Property 1: 1234
Property 4: 4567

Property 1: just
Property 3: an
Property 5: simple
Property 6: example

在该示例中，我将每条记录作为纯文本处理。对于更复杂的工作，我可能会将每个记录转换为散列。

#!/usr/bin/perl

use strict;
use warnings;

use Data::Dumper;

my @data;

{
  local $/ = '';

  while (<DATA>) {
    chomp;

    my @rec = split /\n/;
    my %prop;
    foreach my $r (@rec) {
      my ($k, $v) = split /:\s+/, $r;
      $prop{$k} = $v;
    }

    push @data, \%prop;
  }
}

my @with_4   = grep { exists $_->{'Property 4'} } @data;

my @with_3_6 = grep { exists $_->{'Property 3'} and
                      exists $_->{'Property 6'} } @data;

my @with_3an = grep { exists $_->{'Property 3'} and
                      $_->{'Property 3'} eq 'an' } @data;

print Dumper @with_3an;

__DATA__
Property 1: 1234
Property 2: 34546
Property 3: ACBGD

Property 1: 1234
Property 4: 4567

Property 1: just
Property 3: an
Property 5: simple
Property 6: example

Answer 2

取决于每个属性集的大小以及您拥有多少内存...

我会使用一个简单的状态机，它顺序扫描文件 - 使用逐行顺序扫描，而不是多行 - 添加每个属性/id /value 为以 id 为键的哈希值。当您收到空行或文件结尾时，确定是否应过滤掉散列的元素，并根据需要发出它们，然后重置散列。

Answer 3

又快又脏：

my $string = <<END;
Property 1: 1234
Property 2: 34546
Property 3: ACBGD

Property 1: 1234
Property 4: 4567

Property 1: just
Property 3: an
Property 5: simple
Property 6: example
END

my @blocks = split /\n\n/, $string;

my @desired_blocks = grep /Property 1: 1234/, @blocks;

print join("\n----\n", @desired_blocks), "\n";

Answer 4

#!/usr/bin/perl

use strict;
use warnings;
use Data::Dumper;

my $propertyRef;
my $propertyRefIdx = 0;

while (<>) {
    chomp($_);
    if ($_ =~ /Property (\d+): (.*)/) {
        my $propertyKey = $1;
        my $propertyValue = $2;

        $propertyRef->[$propertyRefIdx]->{$propertyKey} = $propertyValue;
    }
    else {
        $propertyRefIdx++;
    }
}

print Dumper $propertyRef;

假设该脚本名为 propertyParser.pl，并且您有一个包含属性和值的文件，名为 properties.txt。您可以这样调用：

$ propertyParser.pl < properties.txt

使用所有数据填充 $propertyRef 后，您可以循环遍历元素并根据您需要应用的任何规则（例如某些键和/或值组合：

foreach my $property (@{$propertyRef}) {
    if (defined $property->{1} && defined $property->{3} 
                               && ! defined $property->{6}) {
        # do something for keys 1 and 3 but not 6, etc.
    }
}

Answer 5

您的记录分隔符应为“\n\n”。每行都以 1 结尾，并且可以通过双换行符来区分块。使用这个想法，可以很容易地过滤掉具有属性 4 的块。

use strict;
use warnings;
use English qw<$RS>;

open( my $inh, ... ) or die "I'm dead!";

local $RS = "\n\n";
while ( my $block = <$inh> ) { 
    if ( my ( $prop4 ) = $block =~ m/^Property 4:\s+(.*)/m ) { 
        ...
    }
    if ( my ( $prop3, $prop6 ) 
             = $block =~ m/
        ^Property \s+ 3: \s+ ([^\n]*)
        .*?
        ^Property \s+ 6: \s+ ([^\n]*)
        /smx 
       ) {
        ...
    }
}

两个表达式都使用多行 ('m') 标志，因此 ^ 适用于任何行开始。最后一个使用标志在“.”中包含换行符。表达式（'s'）和扩展语法（'x'），其中忽略表达式中的空格。

如果数据相当小，您可以一次性处理所有数据，如下

use strict;
use warnings;
use English qw<$RS>;

local $RS = "\n\n";
my @block
    = map { { m/^Property \s+ (\d+): \s+ (.*?\S) \s+/gmx } } <DATA>
    ;
print Data::Dumper->Dump( [ \@block ], [ '*block' ] ), "\n";

所示： 结果如下：

@block = (
           {
             '1' => '1234',
             '3' => 'ACBGD',
             '2' => '34546'
           },
           {
             '4' => '4567',
             '1' => '1234'
           },
           {
             '6' => 'example',
             '1' => 'just',
             '3' => 'an',
             '5' => 'simple'
           }
         );

Answer 6

检查 $/ 变量将为您做什么，例如此处的解释。您可以将“行尾”分隔符设置为您喜欢的任何内容。您可以尝试将其设置为“\n\n”，

$/ = "\n\n";
foreach my $property (<DATA>)
    {
    print "$property\n";
    }


__DATA__
Property 1: 1234
Property 2: 34546
Property 3: ACBGD

Property 1: 1234
Property 4: 4567

Property 1: just
Property 3: an
Property 5: simple
Property 6: example

因为您的数据元素似乎是由空行分隔的，这将一一读取行的每个属性组。

您还可以将整个文件读入数组并从内存中处理它

my(@lines) =

Answer 7

假设您的数据存储在一个文件中（假设为 mydata.txt），您可以编写以下 perl 脚本（我们称他为 Bob.pl）：

my @currentBlock = ();
my $displayCurrentBlock = 0;
# This will iterate on each line of the file
while (<>) {
  # We check the content of $_ (the current line)
  if ($_ =~ /^\s*$/) {
    # $_ is an empty line, so we display the current block if needed
    print @currentBlock if $displayCurrentBlock;
    # Current block and display status are resetted
    @currentBlock = ();
    $displayCurrentBlock = 0;
  } else{
    # $_ is not an empty line, we add it to the current block
    push @currentBlock, $_;
    # We set the display status to true if a certain condition is met
    $displayCurrentBlock = 1 if ($_ =~ /Property 3: an\s+$/);
  }
}
# A last check and print for the last block
print @currentBlock if $displayCurrentBlock;

接下来，您只需启动 perl Bob.pl perl Bob.pl < mydata.txt，瞧！

localhost> perl Bob.pl < mydata.txt
Property 1: just
Property 3: an
Property 5: simple
Property 6: example

Answer 8

关于问题的第一部分，您可以使用perl的“段落模式”读取记录-00 命令行选项，例如：

#!/usr/bin/perl -00

my @data = <>;

# Print the last block.
print $data[-1], "\n"