通过JSON文件循环并删除特定字符串的速度更快？

Question

我有以下表单的JSON文件：

 {'query': {'tool': 'domainquery', 'query': 'example.org'},
 'response': {'result_count': '1',
  'total_pages': '1',
  'current_page': '1',
  'matches': [{'domain': 'example2.org',
    'created_date': '2015-07-25',
    'registrar': 'registrar_10'}]}}

我有以下表格的列表：

removal_list=["example2.org","example3.org"...]

我试图循环浏览emoval_list，并从JSON文件中删除每个项目的所有实例。问题是计算需要多长时间，而emoval_list包含110,000个项目。我试图通过使用set（）和isdisjoint来更快地做到这一点，但这似乎并不能更快。

我目前必须这样做的代码是：

    removal_list= set(removal_list)
    for domain in removal_list:
        for i in range(len(JSON_file)):
            if int(JSON_file[i]['response']['result_count'])>0:  
                for j in range(len(JSON_file[i]['response']['matches'])):
                    for item in JSON_file[i]['response']['matches'][j]['domain']:
                        if not remove_set.isdisjoint(JSON_file[i]['response']['matches'][j]['domain']):
                            del(JSON_file[i]['response']['matches'][j]['domain'])
                        else: 
                            pass

是否有人对如何加速此过程有任何建议？提前致谢。

Answer 1

问题中的循环是“倒置”。也就是说，应列举并检查JSON_FILE（显然是字典列表），以查看“匹配”列表中是否有任何字典在ememoval_list中具有域。

让我们在JSON_FILE列表中只有两个词典，然后显示代码来处理它们。

removal_list = {"example2.org", "example3.org"}

d1 = {'query': {'tool': 'domainquery', 'query': 'example.org'},
     'response': {'result_count': '1',
                  'total_pages': '1',
                  'current_page': '1',
                  'matches': [{'domain': 'example2.org',
                               'created_date': '2015-07-25',
                               'registrar': 'registrar_10'}]}}
d2 = {'query': {'tool': 'domainquery', 'query': 'example.org'},
     'response': {'result_count': '1',
                  'total_pages': '1',
                  'current_page': '1',
                  'matches': [{'domain': 'example3.org',
                               'created_date': '2015-07-25',
                               'registrar': 'registrar_10'}]}}

JSON_File = [d1, d2]

for j in JSON_File:
    if matches := j['response'].get('matches'):
        for match in matches:
            if match.get('domain') in removal_list:
                del match['domain']

print(JSON_File)

假设：

如果result_count为非零，则将有一个非空的“匹配”列表，这意味着无需明确检查'result_count value'

注意：注意：

需要Python 3.8+