分析不断增加的数据的最佳方法？

Question

我的代码从 Web 服务捕获数值。捕获的值通常会增加，但有时会减少。现在，我只是对我在特定时间观察到的情况进行愚蠢的捕获...这就是我的表结构现在的样子：

id   date_collected      value1_observed  value2_observed
1    2012-01-26 1:00am   500              12
2    2012-01-26 1:01am   90000            NULL
3    2012-01-26 1:02am   100              50
1    2012-01-26 7:23am   502              12
2    2012-01-26 7:24am   90105            NULL
3    2012-01-26 8:09am   97               55

您可以看到...

• ID=1 value1 增加了 26 小时 23 分钟内
• ID=2 value1 增加了 105 6 小时 23 分钟
• ID=3 value1 减少了 3 7 小时 8 分钟

困难：

• 收集时间不一致（我每天收集多次，收集之间的时间长度不同）
• 值可以增加或减少或为空

我已经捕获了这些记录的数千万行，我希望能够更轻松地查询它们，所以我想我需要将这些数据转换为更适合我想回答的问题的模式。我希望能够找到这样的模式：

• “在凌晨 1 点到凌晨 5 点之间，这些 ID 的 value1 变化最大”。
• “在过去 30 天里，哪些 ID 的价值2增长最快（从绝对值和相对值来看）？”

关于如何构建架构有什么建议吗？是否可以将这些数据转换为传统的星型模式？

更新回答问题：

• 我目前正在使用 Microsoft SQL Server，但愿意使用 MySQL 或其他开源选项。
• 如果 id 1 从 50 变为 100 再到 52，我想知道它变为 +50，然后变为 -48。这样我就可以看到随着时间的推移的波动和净收益/损失。例如，如果我跟踪网站上的注册用户......通常数字总是上升，但如果人们删除他们的帐户，我想识别这种趋势。但是，如果我的应用程序没有观察到从 50 到 100 的变化，并且只记录了 50 和 52，它就不会知道该数字曾经达到 100。

感谢您的任何见解/指导，

-Paul

Answer 1

看来您的选择可能是为您的数据选择基于列的数据存储，请参阅此线程 存储趋势数据的最佳方式是什么？

这些是 MySQL 兼容引擎，因此我怀疑对您的基础设施的更改可能不会很大。