python 读取并处理本地mysql怎么加快速度?

发布于 2022-09-06 03:04:12 字数 124 浏览 13 评论 0

我本地数据库mysql大概有100W条,其中的某一个字段要做处理,
我就读取一条处理一次,然后post到网站的接口。
但是实在太慢了,平均一秒钟处理一条。
请问要怎么加快读取mysql速度?用多线程吗?
谢谢。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(3

冬天的雪花 2022-09-13 03:04:12

还没有搞明白你的意思
本地有个数据库,
POST到网站接口上,是不是在线还有一个数据库
要把本地的数据库里的内容修改同步到线上?是不是这个意思
如果是的话 100w条数据。直接操作数据库啊,还通过http干什么

¢好甜 2022-09-13 03:04:12

“读取一条处理一次”是啥意思?不会是每次select一条数据吧?
我觉得主要时间应该都花费在调用接口上了吧。
接口是否可以批量更新数据,或者你处理完直接批量入库,不通过接口?
执行什么样的处理?通过sql本身能否实现?

奢欲 2022-09-13 03:04:12

①设置该字段是索引;
②如果是迁移数据库的话,那就直接导出数据库或者直接复制mysql 目录下面的data相关文件;
③可以分表,100w可以分5个表,每个表20w条数据;

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文