SQLAlchemy 低效插入数百万数据

发布于 2025-01-05 05:31:16 字数 373 浏览 0 评论 0原文

完成 100000 个（用户，密码）元组插入需要很长时间。

def insertdata(db,name,val):
    i = db.insert()
    i.execute(user= name, password=val)
#-----main-------
tuplelist = readfile("C:/py/tst.txt")  #parse file is really fast
mydb = initdatabase()
for ele in tuplelist:
    insertdata(mydb,ele[0],ele[1])

哪个功能需要更多时间？有没有办法测试Python的瓶颈？我可以通过缓存并稍后提交来避免这种情况吗？

原文

It takes a long time to finish 100000 (user,password) tuple insertions.

def insertdata(db,name,val):
    i = db.insert()
    i.execute(user= name, password=val)
#-----main-------
tuplelist = readfile("C:/py/tst.txt")  #parse file is really fast
mydb = initdatabase()
for ele in tuplelist:
    insertdata(mydb,ele[0],ele[1])

which function take more time ?　Is there a way to test bottleneck in python?
Can I avoid that by caching and commit later？

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

半枫 2025-01-12 05:31:16

让 DBAPI 句柄迭代参数。

def insertdata(db,tuplelist):
    i = db.insert()
    i.execute([dict(user=elem[0], password=elem[1]) for elem in tuplelist])
#-----main-------
tuplelist = readfile("C:/py/tst.txt")  #parse file is really fast
mydb = initdatabase()
insertdata(mydb,tuplelist)

have the DBAPI handle iterating through the parameters.

def insertdata(db,tuplelist):
    i = db.insert()
    i.execute([dict(user=elem[0], password=elem[1]) for elem in tuplelist])
#-----main-------
tuplelist = readfile("C:/py/tst.txt")  #parse file is really fast
mydb = initdatabase()
insertdata(mydb,tuplelist)

回复收藏 0 原文

~没有更多了~