python 读取并处理本地mysql怎么加快速度?
我本地数据库mysql大概有100W条,其中的某一个字段要做处理,
我就读取一条处理一次,然后post到网站的接口。
但是实在太慢了,平均一秒钟处理一条。
请问要怎么加快读取mysql速度?用多线程吗?
谢谢。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
我本地数据库mysql大概有100W条,其中的某一个字段要做处理,
我就读取一条处理一次,然后post到网站的接口。
但是实在太慢了,平均一秒钟处理一条。
请问要怎么加快读取mysql速度?用多线程吗?
谢谢。
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(3)
还没有搞明白你的意思
本地有个数据库,
POST到网站接口上,是不是在线还有一个数据库
要把本地的数据库里的内容修改同步到线上?是不是这个意思
如果是的话 100w条数据。直接操作数据库啊,还通过http干什么
“读取一条处理一次”是啥意思?不会是每次select一条数据吧?
我觉得主要时间应该都花费在调用接口上了吧。
接口是否可以批量更新数据,或者你处理完直接批量入库,不通过接口?
执行什么样的处理?通过sql本身能否实现?
①设置该字段是索引;
②如果是迁移数据库的话,那就直接导出数据库或者直接复制mysql 目录下面的data相关文件;
③可以分表,100w可以分5个表,每个表20w条数据;