MySQL-mysql 优化大数据量表
有一个mysql 数据表, 每天增加100万条的操作日志数据, 预计用时3年, 请问如何进行优化。
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
有一个mysql 数据表, 每天增加100万条的操作日志数据, 预计用时3年, 请问如何进行优化。
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
接受
或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论(2)
100W * 365 * 3 / 500 = 219W
hash分500张表,平均每个表存219W数据
mysql拿来做日志数据库。。。(虽然我表示以前没有见过,但是也不是不可以)。
这么大的数据量,虽然mysql可以支持,但是肯定不可能这么做,还是要拆分表的。至于怎么拆分,举个例子。我们可以每周新建一张表,表名就是logYYYYww(年数,周数)。每周一张表的话,这个数据量还是可以抗得住的。
插入方式,肯定不可能每做一次插入就链接一次数据库(一天链接那么多次也是麻烦)。所以建议在软件中做一个缓存,当数据达到一定量(比如3000条,然后一次行插入)。
感觉用myisam比innodb要好一些,因为做日志数据库的话,不需要对日志内容进行修改。所以每次插入锁整张表也无所谓。
我是一个初学者,如果设计的有问题,请大家指教。