使用 perl 处理数据 - 选择使用 mysql 进行更新使用

Question

我有一个表存储需要处理的数据。我的表中有 id、状态、数据。我目前正在浏览并选择 id、data，其中 status = #。然后，我在选择后立即进行更新，更改状态 # 以便不会再次选择它。

我的程序是多线程的，有时我得到的线程会抓取相同的 id，因为它们都在彼此相对接近的时间查询表，从而导致抓取相同的 id。我研究了 select for update，但是，我要么查询错误，要么我不明白它的用途。

我的目标是找到一种方法来获取我需要的 id、数据并设置状态，以便没有其他线程尝试获取和处理相同的数据。这是我尝试过的代码。 （我在这里出于展示目的将其全部写在一起。我在程序开始时设置了准备工作，以便每次运行时都不会进行准备，以防万一有人担心）

  my $select = $db->prepare("SELECT id, data FROM `TestTable` WHERE _status=4 LIMIT ? FOR UPDATE") or die $DBI::errstr;
if ($select->execute($limit))
     {
       while ($data = $select->fetchrow_hashref())
            { 

                my $update_status = $db->prepare( "UPDATE `TestTable` SET _status = ?, data = ? WHERE _id=?");
                    $update_status->execute(10, "", $data->{_id});
        push(@array_hash, $data);

             }
     }

当我运行此程序时，如果执行多次线程，在处理事务数据后尝试执行插入时，我会得到许多重复插入。

我对 mysql 和我所做的研究不是很熟悉，我还没有找到任何真正为我解决这个问题的东西。

谢谢

Answer 1

作为健全性检查，您使用 InnoDB 吗？除了使用全表锁定来伪造事务外，MyISAM 的事务支持为零。

我不知道你在哪里开始交易。 MySQL 的自动提交选项默认处于打开状态，因此启动事务并稍后提交是必要的，除非您关闭自动提交。

Answer 2

看起来您只是依赖数据库锁定机制。我用谷歌搜索了perl dbilocking并发现了这个：

$dbh->do("LOCK TABLES foo WRITE, bar READ");
$sth->prepare("SELECT x,y,z FROM bar");
$sth2->prepare("INSERT INTO foo SET a = ?");
while (@ary = $sth->fetchrow_array()) {
    $sth2->$execute($ary[0]);
    }
$sth2->finish();
$sth->finish();
$dbh->do("UNLOCK TABLES");

并不是真的说GIYF因为我对 MySQL 和 DBI 都很新手，但也许你可以通过这种方式找到其他答案。

另一种选择可能如下，只有当您控制访问数据的所有代码时，这才有效。您可以在表中创建lock列。当您的代码访问表时（伪代码）：

if row.lock != 1 
  row.lock = 1
  read row
  update row
  row.lock = 0
  next
else 
  sleep 1
  redo

不过，这再次相信访问此数据的所有用户/脚本将同意遵循此策略。如果你不能确保这一点，那么这将不起作用。

无论如何，这就是我对该主题的所有知识。祝你好运！