如何解决多线程下Pymongo连接过多的问题?
最近调整原来的py爬虫时发现一个问题
在多线程下pymongo会报一个危险
/usr/lib64/python2.6/site-packages/pymongo/topology.py:75:
UserWarning: MongoClient opened before fork. Create MongoClient with connect=False,
or create client after forking. See PyMongo's documentation for details:
http://api.mongodb.org/python/current/faq.html#using-pymongo-with-multiprocessing>
"MongoClient opened before fork. Create MongoClient "
大意是多进程下要加上connect=False
参数防止死锁?
然后加上这个参数程序依旧报这个危险,所以问下多进程下 pymongo的要在哪里初始化?
目前是这样
class mongo():
def __init__(self):
try:
client = MongoClient(host="127.0.0.1", port=27017, connect=False)
db = client.db
print "mogodb successful connection~^_^"
except Exception, e:
print "mogodb Error", e
def in():
......
拜谢
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(1)
提示是mongo连接在fork之前就被创建了,希望你加connect=False参数或者在fork以后再建立连接。
这个错误我以前碰到过,如果pymongo版本比较老的话是不支持connect=False这个参数的,升级一下就好了,或者你把初始化数据库连接的代码放到fork以后,就是在线程里面需要的时候再初始化。