Perl DBI 替代 LongReadLen

Question

我想知道使用 Perl DBI 从 Oracle 数据库中提取任意大数据字段的最节省内存的方法。我知道使用的方法是将数据库句柄上的“LongReadLen”属性设置为足够大的值。但是，我的应用程序需要提取数千条记录，因此任意执行此操作的内存效率极低。

doc 建议预先进行查询以找到最大的潜力值，并进行设置。

$dbh->{LongReadLen} = $dbh->selectrow_array(qq{
    SELECT MAX(OCTET_LENGTH(long_column_name))
    FROM table WHERE ...
});
$sth = $dbh->prepare(qq{
    SELECT long_column_name, ... FROM table WHERE ...
});

然而，这仍然是低效的，因为外围数据并不代表每条记录。最大值超过 1 MB，但平均记录小于 1 KB。我希望能够提取所有信息（即不截断），同时在未使用的缓冲区上浪费尽可能少的内存。

我考虑过的一种方法是将数据分块提取，例如一次 50 条记录，然后根据该块的记录的最大长度设置 LongReadLen。另一种解决方法可以但不必建立在块思想的基础上，即分叉一个子进程，检索数据，然后杀死子进程（带走浪费的内存）。最美妙的事情是能够强制释放 DBI 缓冲区，但我认为这是不可能的。

有没有人成功解决过类似的问题？感谢您的帮助！

编辑

Perl v5.8.8，DBI v1.52

澄清一下：内存效率低下是由于将 'LongReadLen' 与 {ora_pers_lob =>; 1}在准备中。使用此代码：

my $sql = "select myclob from my table where id = 68683";
my $dbh = DBI->connect( "dbi:Oracle:$db", $user, $pass ) or croak $DBI::errstr;

print "before";
readline( *STDIN );

$dbh->{'LongReadLen'} = 2 * 1024 * 1024;
my $sth = $dbh->prepare( $sql, {'ora_pers_lob' => 1} ) or croak $dbh->errstr;
$sth->execute() or croak( 'Cant execute_query '. $dbh->errstr . ' sql: ' . $sql );
my $row = $sth->fetchrow_hashref;

print "after";
readline( *STDIN );

“之前”的常驻内存使用量为 18MB，“之后”的使用量为 30MB。这对于大量查询来说是不可接受的。

Answer 1

您的列是否包含大型数据 LOB（CLOB 或 BLOB）？如果是这样，则根本不需要使用 LongReadLen； DBD::Oracle 提供了 LOB 流接口。

您要做的是将绑定参数作为类型ORA_CLOB 或 ORA_BLOB，这将为您提供从查询返回的“LOB 定位器”，而不是 tex。然后，将 ora_lob_read 与 LOB 定位器一起使用来获取数据。这是对我有用的代码示例：

sub read_lob {
  my ( $dbh, $clob ) = @_;

  my $BLOCK_SIZE = 16384;

  my $out;
  my $offset = 1;

  while ( my $data = $dbh->ora_lob_read( $clob, $offset, $BLOCK_SIZE ) ) {
    $out .= $data;
    $offset += $BLOCK_SIZE;
  }
  return $out;
}

Answer 2

我这样想：

use Parallel::ForkManager
use strict;

# Max 50 processes for parallel data retrieving
my $pm = new Parallel::ForkManager(50);

# while loop goes here
while (my @row = $sth->fetchrow_array) {

# do the fork
$pm->start and next;

#
# Data retreiving goes here
#

# do the exit in the child process
$pm->finish;
}
$pm->wait_all_children;

检查 Parallel ::ForkManager in CPAN 了解更多信息。