如何通过 DBI 重用 WHERE 子句逻辑？

Question

免责声明：我第一次使用 DBI。

我有一个 MySQL 表，其中包含许多索引字段（f1、f2、f3 等），这些字段用于通过长时间运行的进程生成 WHERE 子句，这些进程迭代数据库块，执行各种清理和测试操作。

该代码的当前版本的工作原理如下：

sub get_list_of_ids() {
    my ($value1, $value2, $value3...) = @_;

    my $stmt = 'SELECT * FROM files WHERE 1';
    my @args;

    if (defined($value1)) {
        $stmt .= ' AND f1 = ?';
        push(@args, $value1);
    }
    # Repeat for all the different fields and values

    my $select_sth = $dbh->prepare($stmt) or die $dbh->errstr;
    $select_sth->execute(@args) or die $select_sth->errstr;

    my @result;
    while (my $array = $select_sth->fetch) {
        push(@result, $$array[0]);
    }
    return \@result;
}

sub function_A() {
    my ($value1, $value2, $value3...) = @_;

    my $id_aref = get_list_of_ids($value1, $value2, $value3...);
    foreach my $id (@$id_aref) {
        # Do something with $id
        # And something else with $id
    }
}

sub function_B() {
    my ($value1, $value2, $value3...) = @_;

    my $id_aref = get_list_of_ids($value1, $value2, $value3...);
    foreach my $id (@$id_aref) {
        # Do something different with $id
        # Maybe even delete the row
    }
}

无论如何，我即将在数据库中转储更多的行，并且我很清楚上面的代码不会扩展。我可以根据其他语言想出几种修复方法。在 Perl 中处理它的最佳方法是什么？

需要注意的要点是 get_list_of_ids() 中的逻辑太长，无法在每个函数中复制；并且对所选行的操作多种多样。

提前致谢。

Answer 1

我认为“扩大规模”是指维护方面而不是性能方面。

对代码的关键更改是将参数作为列/值对传递，而不是带有假定的列集的值列表。这将允许您的代码处理您可能添加的任何新列。

DBI->selectcol_arrayref 使用 C 语言编写，既方便又更快。

如果您在 connect 调用中打开 RaiseError，DBI会在错误时抛出异常，而不必一直编写 or die ... 。你应该这样做。

最后，由于我们是根据可能不受信任的用户输入编写 SQL，因此我小心地转义了列名。

其余的在 这个 Etherpad 中进行了解释，您可以观看代码转换步骤一步一步。

sub get_ids {
    my %search = @_;

    my $sql = 'SELECT id FROM files';

    if( keys %search ) {
        $sql .= " WHERE ";
        $sql .= join " AND ", map { "$_ = ?" }
                              map { $dbh->quote_identifier($_) }
                              keys %search;
    }

    return $dbh->selectcol_arrayref($sql, undef, values %search);
}

my $ids = get_ids( foo => 42, bar => 23 );

如果您希望 get_ids 返回一个巨大的列表，太多而无法保留在内存中，那么您可以返回语句句柄并对其进行迭代，而不是取出整个数组并将其存储在内存中。

sub get_ids {
    my %search = @_;

    my $sql = 'SELECT id FROM files';

    if( keys %search ) {
        $sql .= " WHERE ";
        $sql .= join " AND ", map { "$_ = ?" }
                              map { $dbh->quote_identifier($_) }
                              keys %search;
    }

    my $sth = $dbh->prepare($sql);
    $sth->execute(values %search);
    return $sth;
}

my $sth = get_ids( foo => 42, bar => 23 );
while( my $id = $sth->fetch ) {
    ...
}

您可以通过在数组上下文中返回 ID 列表或在标量中返回语句句柄来组合这两种方法。

sub get_ids {
    my %search = @_;

    my $sql = 'SELECT id FROM files';

    if( keys %search ) {
        $sql .= " WHERE ";
        $sql .= join " AND ", map { "$_ = ?" }
                              map { $dbh->quote_identifier($_) }
                              keys %search;
    }

    # Convenient for small lists.
    if( wantarray ) {
        my $ids = $dbh->selectcol_arrayref($sql, undef, values %search);
        return @$ids;
    }
    # Efficient for large ones.
    else {
        my $sth = $dbh->prepare($sql);
        $sth->execute(values %search);
        return $sth;
    }
}

my $sth = get_ids( foo => 42, bar => 23 );
while( my $id = $sth->fetch ) {
    ...
}

my @ids = get_ids( baz => 99 );

最终，您将希望停止手动编码 SQL 并使用对象关系映射器 (ORM)，例如 DBIx： ：类。 ORM 的主要优点之一是它非常灵活，可以为您执行上述操作。 DBIx::Class 可以返回简单的结果列表，或者非常强大的迭代器。迭代器是惰性的，在您开始获取行之前它不会执行查询，允许您根据需要更改查询，而不必使获取例程复杂化。

my $ids = get_ids( foo => 23, bar => 42 );
$ids->rows(20)->all;  # equivalent to adding LIMIT 20