MySQL-mysql的连接数

Question

我先说下我的问题，我用php启用多进程去跑我需要的数据，等这些数据全部跑完我再执行下面的操作。之所以用多进程就是要提高效率，问题来了，我每次运行，大概启用10+进程，需要运行20分钟，为了再提高效率，我启用了20+进程，但是发现也是20分钟左右，没有明显提高。每个进程都会频繁链接数据库，这点不可避免，但是最多join两个表，绝大多数都是瞬时sql，我起初以为是mysql的链接数限制了程序，调大链接数后，也没神马效果，求高手指点

说明，我有数据库连接池，每个进程只创建一次。
每个进程需要运行100+到4000+的循环，单条循环只要很短的时间，大约20次循环用1秒左右，但是数据量上去之后，效率立刻降了下来。

Answer 1

1.同时操作同一条数据的话会排队,数据库会先把此数据锁住,一条一条的执行.
2.你是在做大量插入,大量插入对机器的io要求很高,我去年有一个应用,之前用一台hp的普通存储服务器执行10000次插入需要120s,后换成raid5+512m缓存卡,插入只要1s,问题解决.

Answer 2

Mysql 只支持轻量级的连接池，最好在数据库上层在加一个缓存层吧。可以用redis来做缓存层

Answer 3

数据量大，再多的连接数都不够用，一般的做法是使用快速查找数据库，毕竟查找操作是数据库最多的操作，类似于std::map< key, value >的模式，也就是NoSql,像淘宝和豆瓣的网站都会使用一个中间缓冲层来做处理，有单独的缓存服务器来处理，建议看看程序员杂志去年的10月份还是11月份中数据库的内容。