如何有效存储定期报告不断变化的数据集（搜索结果）

Question

我无法想出一种存储不断变化的数据集的好方法。

我想跟踪并定期报告特定网站的内容。例如，对于某个网站，我想跟踪所有可用的 PDF 文档。然后我想定期（比如每季度）报告文档数量、PDF 版本号和各种其他统计数据。此外，我想跟踪这些指标随时间的变化。例如，我想绘制出网站上提供的 PDF 文档随时间的增长情况。

我的输入基本上是一长串指向网站上所有 PDF 文档的 URL 列表。这些输入间歇性地到达，但它们可能与我想要运行报告的日期不一致。例如，在 2010 年第四季度，我可能会收到两个相隔几周的 URL 列表。 2011 年第一季度我可能只得到一个。

我无法弄清楚如何有效地将这些输入数据存储在某种数据库中，以便我可以轻松生成正确的报告。

一方面，每次收到新列表时，我可以简单地将完整列表以及导入日期插入表中。但我担心这个表会在短时间内变得很大，而且大部分都是重复的 URL。

但是，另一方面，我担心维护唯一 URL 或文档的列表可能会变得相当复杂。特别是随着时间的推移添加、删除然后重新添加文档时。我担心我可能会陷入创建时态数据库的复杂性。我不禁想到当文档本身更新但 URL 保持不变时会发生什么（在这种情况下元数据可能会改变，例如 PDF 版本、文件大小等）。

谁能推荐我一种存储这些数据的好方法，以便我可以从中生成报告？我特别希望能够追溯生成报告。例如，当我想要跟踪 2011 年第一季度的新网站时，我希望能够根据 2010 年第四季度的数据生成报告，即使 2011 年第一季度的数据已经导入。

提前致谢！

Answer 1

为什么不只是一个名为 URL_HISTORY 之类的表：

URL          VARCHAR  (PK)
START_DATE   DATE     (PK)
END_DATE     DATE
VERSION      VARCHAR

将 END_DATE 设置为 NULL 或合适的虚拟日期（例如 9999 年 12 月 31 日），其中版本尚未被取代；将 END_DATE 设置为版本被取代的最后一个有效日期，并为新版本创建新记录 - 例如。

+------------------+-------------+--------------+---------+
|URL               | START_DATE  |  END_DATE    | VERSION |
|..\Harry.pdf      | 01-OCT-2009 |  31-DEC-9999 | 1.1.0   |
|..\SarahJane.pdf  | 01-OCT-2009 |  31-DEC-2009 | 1.1.0   |
|..\SarahJane.pdf  | 01-JAN-2010 |  31-DEC-9999 | 1.1.1   |
+------------------+-------------+--------------+---------+

Answer 2

怎么样使用文档数据库，而不是保存每个 url，而是保存一个包含 url 集合的文档。此时，每当您执行迭代所有 url 的任何流程时，您都会获得存在某个时间范围的所有文档或您对此拥有的任何资格，然后在每个文档中运行所有 url。

这也可以在 sql server 中模拟，只需将对象序列化为 json 或 xml 并将输出存储在合适的列中。