大型分析数据库响应式检索 (MYSQL)

Question

我想为网络创建一个“谷歌分析”类型的应用程序 - 即一个基于网络的工具来为我的数据库做一些报告和图表。问题是数据库很大，所以我无法实时执行查询，因为它们会花费太长时间并且该工具将无响应。

我如何使用 cron 作业来帮助我？使我的图表具有响应能力的最佳方法是什么？我想我需要对一些数据库表进行非形式化，但是如何使这些查询更快呢？我可以将哪些中间值存储在另一个数据库表中以使其更快？

谢谢！

Answer 1

商业智能 (BI) 是一门相当成熟的学科 - 您可以在任何有关扩展数据库以进行报告和统计的书籍中找到问题的答案。数据仓库。

高级策略列表包括：

• 分区（因为索引对大多数报告没有什么帮助）
• 汇总表（通常通过 cron 提交的批处理过程生成）
• 你需要一个好的优化器（一些数据库，如 mysql 不需要 - 所以让糟糕的连接决策）
• 查询并行性（某些数据库只需将查询拆分为多个线程即可提供线性加速）
• 星型模式 - 良好的数据模型对于良好的性能至关重要

一般情况下，动态报告会让人大吃一惊静态报告 - 因此，如果您需要强大的报告，我只是尝试将数据复制到适当的模型中，使用聚合，可能会更改数据库以获得良好的优化器和适当的功能，而不是批量运行报告。