我应该限制或减少数据库查询吗？

Question

我正在创建一个 PHP 脚本，将文本文件中的一些数据导入 MySQL 数据库。这些文本文件非常大，平均一个文件有 10,000 行，每一行对应于我想要在数据库中添加的一个新项目。 （我不会经常导入文件）

我担心从文件中读取一行，然后连续执行 10,000 次 INSERT 查询可能会导致一些问题。我有更好的方法来做到这一点吗？我应该对所有 10,000 个值执行一次 INSERT 查询吗？或者那会同样糟糕吗？

也许我可以达到一种媒介，并一次执行 10 或 100 个条目之类的操作。事实上，我的问题是我不知道什么是好的做法。也许连续 10,000 个查询就可以了，我只是担心而已。

有什么建议吗？

Answer 1

是的，它是

<?php
$lines = file('file.txt');
$count = count($lines);
$i = 0;
$query = "INSERT INTO table VALUES ";
foreach($lines as $line){
    $i++;
    if ($count == $i) {
        $query .= "('".$line."')";
    }
    else{
        $query .= "('".$line."'),";
    }
}
echo $query;

http://sandbox.phpcode.eu/g/5ade4.php

这个将进行一次查询，这比一行一查询样式快数倍！

Answer 2

使用《高性能 MySQL》作者建议的准备好的语句。它节省了大量时间（节省了浪费的协议和 SQL ASCII 代码）。

Answer 3

我会在一次包含所有值的大型查询中完成此操作。不过，为了确定一点，请确保在之前运行 START TRANSACTION; 并在之后运行 COMMIT;，这样如果在查询执行期间出现问题（这可能是，因为它很可能会运行相当长的时间），数据库不会受到影响。