Python 中的算法可以存储和搜索每天发生的数千个编号事件？

Question

我正在研究存储和查询大量项目的事件发生的历史记录的解决方案。

这是简化的场景：我每天都会收到 200 000 个路灯（标记为 sl1 到 sl200000）的日志，其中显示路灯当天是否运行。灯的使用时间长短并不重要，重要的是它是在给定的日历日。

每个灯还存储其他信息，Python 类的开头看起来像这样：

class Streetlamp(object):
    """Class for streetlamp record"""
    def __init__(self, **args):
        self.location = args['location']
        self.power = args['power']
        self.inservice = ???

我的 py-foo 不太好，我想避免在磁盘/内存存储上过于贪婪的解决方案。因此，具有（年、月、日）元组字典的解决方案可能是一种解决方案，但我希望获得更有效解决方案的指示。

记录可以存储为位流，每个位代表从 1 月 1 日开始的一年中的一天。因此，如果灯在 2010 年的前三天运行，则记录可能是：

sl1000_up = dict('2010': '11100000000000...', '2011':'11111100100...')

跨年份边界的搜索将需要合并、闰年是一个特殊情况，另外我需要使用这个自制的解决方案进行相当多的编码/解码。好像不太安静吧。 加速bitstring-bit-operations，how-do-i-find-missing-dates- in-a-list 和 finding-data-gaps-with-bit-屏蔽我遇到的有趣的帖子。我还调查了 python-bitstring 并做了一些谷歌搜索，但似乎没有什么真正适合的。

此外，我希望搜索“间隙”是可能的，例如“三天或更多天没有行动”，并且必须将标记的日期转换为真实的日历日期。

我希望得到有关可能解决方案的想法或指示。为了添加更多细节，可能有趣的是使用的后端数据库是 ZODB，并且首选可以 pickle 的纯 Python 对象。

Answer 1

在 Numpy 中创建 2D 数组：

import numpy as np

nbLamps = 200000
nbDays = 365

arr = np.array([nbLamps, nbDays], dtype=np.bool)

它将非常节省内存，并且您可以轻松聚合日期和灯。

为了更好地控制日期，请查看 scikits.timeseries。它们将允许您使用日期时间对象访问日期。

Answer 2

我可能会对灯进行字典处理，并让每个灯都包含状态更改列表，其中第一个元素是更改时间，第二个元素是自该时间以来有效的值。

这样，当您到达下一个样本时，除非状态与上一个项目相比发生了变化，否则您什么都不做。

搜索快速高效，因为您可以及时使用二分搜索方法。

坚持它也很容易，您可以将数据附加到现有的正在运行的系统，也不会出现任何问题，以及对灯状态列表进行字典以进一步减少资源使用。

如果你想搜索差距，你只需检查所有项目并比较下一个和上一个时间 - 如果你决定对状态列表进行字典，那么你将能够为每个不同的列表而不是每个列表执行一次灯，然后只需一次迭代即可获得具有相同“离线”状态的所有灯，这有时可能会有所帮助