使用php向mysql发送2300个请求需要2小时，如何优化

Question

我正在做一个新闻报纸项目，但没有Rss Feed，所以我被迫使用php以编程方式制作它的提要，所以我有2300个处理页面的过程并将处理结果插入Mysql，

所以我使用的技术是处理每一页然后将其内容插入 mysql 中，它运行良好，但有时我得到“MySQL 服务器消失了”，

我尝试处理 30 页并将它们插入到一个请求中，但它一段时间后停止

，所以我询问有什么方法可以优化此处理以减少 ?! 中使用的时间

多谢

Answer 1

您的批量插入方法是正确的并且可能会有所帮助。您需要找出为什么它会像您所说的那样在一段时间后停止。

很可能是 php 脚本超时。在 php.ini 文件中查找 max_execution_time 以确保它是足够高以允许脚本完成。

另外，请确保您的 mysql 配置允许 足够大的数据包 因为您发送的批次可能很大。

希望有帮助！

Answer 2

“MySQL 服务器消失了”的原因有很多。 看一下。

无论如何，加载整个页面很奇怪。通常 RSS 提要意味着您只放一个主题和一些文本片段。我将 RSS 提要创建为简单的 XML 文件，因此无需在用户每次点击时都从 MySQL 加载数据。你创造新闻->重新生成 RSS XML 文件，您写了新文章 ->重新生成 RSS XML 文件。

如果您仍想准备要插入的数据，只需创建一个包含所有插入的文件，然后从此文件加载数据。

$ mysql -u root
mysql> \. /tmp/data_to_load.sql

是的！一次全部 2300 个；）

$generated_sql = 'insert into Table (c1,c1,c3) values (data1,data2,data3);insert into Table (c1,c1,c3) values (data4,data5,data6);';

$sql_file = '/tmp/somefile';
$fp = fopen($sql_file, 'w');
fwrite($fp, $generated_sql, strlen($generated_sql)); // wrote sql script
fclose($fp);

`mysql -u $mysql_username --password=$mysql_password < $sql_file`;

最后一行需要反引号！

$ mysql -u root test
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A    

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 171                          
Server version: 5.1.37-1ubuntu5.5 (Ubuntu)               

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.


mysql> create table test (id int(11) unsigned not null primary key);
Query OK, 0 rows affected (0.12 sec)                                

mysql> exit
Bye        

$ echo 'insert into test.test values (1); insert into test.test values (2);' > file
$ php -a
Interactive shell

php > `mysql -u root < /home/nemoden/file`;
php > exit

$ mysql -u root test
Reading table information for completion of table and column names
You can turn off this feature to get a quicker startup with -A

Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 180
Server version: 5.1.37-1ubuntu5.5 (Ubuntu)

Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.

mysql> select * from test
    -> ;
+----+
| id |
+----+
|  1 |
|  2 |
+----+
2 rows in set (0.00 sec)

所以，正如您所看到的，它运行得非常完美。