32位Python遭遇阻塞

Question

在最近编写的一个爬虫程序中，当访问过的url过多时程序就会运行到一半自动卡主不动了。不知道原因何在。在爬虫程序中，为了加快运行速度，开辟了四条进程同时索取URL。由于是刚刚接触Python不久。。因此实在找不到其他原因。现在怀疑可能是内存占用已满的缘故。进程资源使用情况截图如下：

这就是卡住的时候的进程资源占用情况

多进程访问的代码如下：
`temp_html_dict = {}
p = Pool(4)
response_dict_list = p.map(open_url, url_list)
p.close()
p.join()`

程序在访问的URL数量不是很多的时候是可以正常运行完的。由于实在不知道从哪里查起，因此不太清楚到底要给出什么有效信息。如果还需要其他信息，可以随时补充。

Answer 1

io密集型，最好不要用多进程，你可以用下gevent。