在Python中，使用bisect在字典列表中查找项目

Question

我有一个字典列表，如下所示：

test_data = [
    { 'offset':0, 'data':1500 },
    { 'offset':1270, 'data':120 },
    { 'offset':2117, 'data':30 },
    { 'offset':4055, 'data':30000 },
]

字典项根据 'offset' 数据在列表中排序。真实的数据可能会更长。

我想要做的是在给定特定偏移值的列表中查找项目，该偏移值不恰好是这些值之一，但在该范围内。所以，二分搜索就是我想做的。

我现在知道Python bisect 模块，它是一个现成的二分搜索——很好，但不能直接用于这种情况。我只是想知道适应 bisect 满足我的需要。这是我想出的：

import bisect

class dict_list_index_get_member(object):
    def __init__(self, dict_list, member):
        self.dict_list = dict_list
        self.member = member
    def __getitem__(self, index):
        return self.dict_list[index][self.member]
    def __len__(self):
        return self.dict_list.__len__()

test_data_index_get_offset = dict_list_index_get_member(test_data, 'offset')
print bisect.bisect(test_data_index_get_offset, 1900)

它打印：

2

我的问题是，这是做我想做的事情的最佳方法，还是有其他更简单、更好的方法？

Answer 1

这里通常的模式类似于按属性排序、装饰、操作和取消装饰。所以在这种情况下你只需要装饰然后调用。但是，您希望避免这样做，因为装饰将是 O(n)，而您希望它是 O(logn)。因此我认为你的方法是最好的。

Answer 2

您可以做的是

class OffsetWithAttributes( object ):
    def __init__( self, offset, **kw ):
        self.offset= offset
        self.attributes= kw
    def __eq__( self, other ):
        return self.offset == other.offset
    def __lt__( self, other ):
        return self.offset < other.offset
    def __le__( self, other ):
        return self.offset <= other.offset
    def __gt__( self, other ):
        return self.offset > other.offset
    def __ge__( self, other ):
        return self.offset >= other.offset
    def __ne__( self, other ):
        return self.offset != other.offset

这应该允许您创建一个简单的 OffsetWithAttributes 实例的 list 。 bisect 算法应该非常乐意使用定义的运算符。

您可以使用 someOWA.attributes['data']。

或者

    def __getattr__( self, key ):
        return self.attributes[key]

这应该使 OffsetWithAttributes 更像一个 dict 。

Answer 3

从 Python 3.10 开始，您可以将 key 函数作为关键字参数传递给 bisect 函数

>>> bisect.bisect(test_data, 1900, key=lambda x: x["offset"])
2

Answer 4

如果您可以使用元组，则元组可与二等分一起使用...

import bisect

offset = 0
data = 1
test_data = [
    (0, 1500),
    (1270, 120),
    (2117, 30),
    (4055, 30000),
]

i = bisect.bisect(test_data, (1900,0))
test_data.insert(i, (1900,0))
print(test_data[i][data])

尽管因为元组是“按字典顺序”（从左到右）进行比较，直到一个元素不等于另一个元素 - 您必须考虑这是否是所需的行为

>>> bisect.insort(test_data, (2117,29))
>>> print(test_data)
[(0, 1500), (1270, 120), (2117, 29), (2117, 30), (4055, 30000)]

Answer 5

对于字典列表的范围查询，鸭子会表现良好。它与二分搜索一样快，因为它构建了基于树的索引。

pip install ducks

from ducks import Dex

test_data = [
    { 'offset':0, 'data':1500 },
    { 'offset':1270, 'data':120 },
    { 'offset':2117, 'data':30 },
    { 'offset':4055, 'data':30000 },
]

# build index on 'offset'
dex = Dex(test_data, ['offset'])

dex[{'offset': {'>': 1900}}] 
# result: [{'offset': 2117, 'data': 30}, {'offset': 4055, 'data': 30000}]

Ducks还可以通过多个属性进行搜索，例如：

# build a Dex on 'offset' and 'data'
dex = Dex(test_data, ['offset', 'data'])
dex[{'offset': {'>': 1900}, 'data': {'<': 50}}]
# result: [{'offset': 2117, 'data': 30}]

Answer 6

您还可以使用 Python 的众多 SortedDict 实现之一来管理您的 test_data。排序字典按键对元素进行排序并维护到值的映射。一些实现还支持对键进行二等分操作。例如，Python Sortedcontainers 模块 有一个 SortedDict 满足您的要求。

在您的情况下，它看起来像：

from sortedcontainers import SortedDict
offset_map = SortedDict((item['offset'], item['data']) for item in test_data)
index = offset_map.bisect(1275)
key = offset_map.iloc[index]
print offset_map[key]
# 120

SortedDict 类型有一个二分函数，它返回所需键的二分索引。通过该索引，您可以查找实际的键。通过该密钥，您可以获得该值。

所有这些操作在排序容器中都非常快，这也可以在纯 Python 中方便地实现。还有一个性能比较，其中讨论了其他选择并具有基准数据。

Answer 7

当您说实际数据可能更长时，这是否会阻止您保留手头的偏移值列表？

offset_values = [i['offset'] for i in test_data]
bisect.bisect(offset_values, 1900)

不过你的方法对我来说似乎不错。