Mysql - 归档数据，使用哪种解决方案？

Question

我使用的是 MySQL 5.x，有一个主表包含所有客户的统计数据。我想对其运行报告，但不想在同一个表上运行它，因此我每天晚上都在考虑将数据移动到仅用于报告的不同表。我的问题是，为每个客户提供一个单独的表来存档是否有益，还是只为所有客户提供一个存档表？系统中可能有数千个客户，如果我决定按客户分解它，这可能意味着数千个存档表。你的想法？

Answer 1

如果您为每个客户使用单独的表，表的数量将会增加。

如果您有统计数据，那么我建议将其总结如下，

1. 将最后 1 个月的数据保留在同一个主表中。
2. maintable_quartely 表中的季度数据/半年数据根据报告要求保存平均或汇总数据，
3. maintable_archieve 中保留旧数据，其中保存 > >根据报告要求平均或汇总的季度或半年数据

如果您希望将整个数据放在一起，则需要合并三个表格。

其他方式，使用 mysql 复制和 master 进行插入、更新、删除，使用 Slave 进行选择

Answer 2

我认为这都是组织数据的一种方式；如果您正在处理诸如客户和订单之类的事情，那么无论如何它们都应该是单独的表。

根据可用的资源，您可能可以执行类似的操作，

CREATE TEMPORARY TABLE `new_table` LIKE `old_table`;
INSERT INTO `new_table` SELECT * FROM `old_table`;

您将获得您想要处理报告的表格的完美副本。如果您的资源有限，您可能可以对其进行批处理，如下所示：

CREATE TEMPORARY TABLE `new_table` LIKE `old_table`;
INSERT INTO `new_table` SELECT * FROM `old_table` LIMIT 100;

...在下一次迭代中：

DROP TABLE `new_table`;
CREATE TEMPORARY TABLE `new_table` LIKE `old_table`;
INSERT INTO `new_table` SELECT * FROM `old_table` LIMIT 100 OFFSET 100;

就归档信息而言，这取决于您正在工作的环境。例如，在我的东西的环境中工作时间为 24/7，需求量极高。我有一个临时数据引擎，它将所有数据保存在 RAM 数据库中，当一条记录被视为“已关闭”时，它会被移至 MySQL 数据库中进行存档。这样，当需要时，我可以在 MySQL 数据库上运行任何报告，而不会影响实时数据的操作运行时间。

我可以提供一些有关如何归档数据的想法，但这需要您对正在处理的数据量和需求类型进行描述。