通过perl从表中获取所有记录

Question

我期望通过 Perl 从表中获取所有 5,812,750 条记录。目前，我遇到内存不足错误。读取所有记录的任何其他最佳替代方法。

sub sane {
    my $self = shift;

    my $dbh = DBI->connect(
       'dbi:Oracle:usbmfs',
       'US', 'states',
       { AutoCommit => 0, RaiseError => 1 }
    );

    my $sth = $dbh->prepare(qq{
        select cpu_id, system, generation, vendor, item,
               week_first_moved, week_last_moved
          from us_item_tbl
    });

    $sth->execute();

    my $rows = @{ $dbh->selectall_arrayref('
        select upc_id, system, generation, vendor, item,
               week_first_moved, eek_last_moved
          from uk_item_tbl
    ') };

    my %lookup;
    foreach my $row (@$rows) {
        my($cpu, sys, $gen, $vend, $item, $wad, $wlm) = @$rows;
        my $ean = sprintf "%02s%05s%05s", $sys, $vend, $item;
        $cpu = sprintf "%014s", $cpu;
        $lookup{$nae}{$cpu} = [$wad, $wlm];
    }       
}

Answer 1

我认为使用 selectall_arrayref 是出现内存不足错误的原因。请尝试使用以下代码。

我将 DBI->connect() 调用更改为使用 RowCacheSize 设置为较小的值 (20)，将 selectall_arrayref 更改为使用 prepare() /execute() 相反，并迭代两个查询结果，一次仅获取一行。另外，我修复了代码中的几个拼写错误：$sys 缺少美元符号，写为 $ean 而不是 $nae，更改查询中的“upc_id”改为“cpu_id”，并修复了“eek_last_moved”的拼写。

while条件中的//是定义的or运算符< /a>，而不是 m// 正则表达式运算符。 // 当左侧参数为 undef 时计算其右侧参数。 fetchrow_arrayref当返回的行数用完时，返回 undef ；发生这种情况时，会对第二个查询结果调用 fetchrow_arrayref 并将结果放入 $row 中。如果 Perl 抱怨 //（可能是因为您的 Perl 早于 5.10），请尝试使用 || 代替。

sub sane {
    my $self = shift;

    my $dbh = DBI->connect(
       'dbi:Oracle:usbmfs',
       'US', 'states',
       { AutoCommit => 0, RaiseError => 1, RowCacheSize => 20 }
    );

    my $sth = $dbh->prepare(qq{
        select cpu_id, system, generation, vendor, item,
               week_first_moved, week_last_moved
          from us_item_tbl
    });

    $sth->execute();

    my $sth2 = $dbh->prepare('
        select cpu_id, system, generation, vendor, item,
               week_first_moved, week_last_moved
          from uk_item_tbl
    ');

    $sth2->execute();

    my %lookup;
    while (my $row = $sth->fetchrow_arrayref() // $sth2->fetchrow_arrayref()) {
        my($cpu, $sys, $gen, $vend, $item, $wad, $wlm) = @$row;
        my $ean = sprintf "%02s%05s%05s", $sys, $vend, $item;
        $cpu = sprintf "%014s", $cpu;
        $lookup{$ean}{$cpu} = [$wad, $wlm];
    }
}