将 Solr XML 解析为 Python 字典

Question

我是 python 新手，正在尝试将 xml 文档（填充了 solr 实例的文档）传递到 python 字典中。我在尝试实际完成此任务时遇到困难。我尝试过使用 ElementTree 和 minidom，但似乎无法获得正确的结果。

这是我的 XML 结构：

<add>
    <doc>
        <field name="genLatitude">45.639968</field>
        <field name="carOfficeHoursEnd">2000-01-01T09:00:00.000Z</field>
        <field name="genLongitude">5.879745</field>
    </doc>
    <doc>
        <field name="genLatitude">46.639968</field>
        <field name="carOfficeHoursEnd">2000-01-01T09:00:00.000Z</field>
        <field name="genLongitude">6.879745</field>
    </doc>
</add>

我需要将其转换为一本字典，如下所示：

doc {
    "genLatitude": '45.639968',
    "carOfficeHoursEnd": '2000-01-01T09:00:00.000Z',
    "genLongitude": '5.879745',
    }

我不太熟悉字典的工作原理，但还有一种方法可以将所有“文档”放入一个字典中。

干杯。

Answer 1

import xml.etree.cElementTree as etree
from pprint import pprint

root = etree.fromstring(xmlstr) # or etree.parse(filename_or_file).getroot()

docs = [{f.attrib['name']: f.text for f in doc.iterfind('field[@name]')}
        for doc in root.iterfind('doc')]
pprint(docs)

输出

[{'carOfficeHoursEnd': '2000-01-01T09:00:00.000Z',
  'genLatitude': '45.639968',
  'genLongitude': '5.879745'},
 {'carOfficeHoursEnd': '2000-01-01T09:00:00.000Z',
  'genLatitude': '46.639968',
  'genLongitude': '6.879745'}]

其中 xmlstr 为：

xmlstr = """
<add>
    <doc>
        <field name="genLatitude">45.639968</field>
        <field name="carOfficeHoursEnd">2000-01-01T09:00:00.000Z</field>
        <field name="genLongitude">5.879745</field>
    </doc>
    <doc>
        <field name="genLatitude">46.639968</field>
        <field name="carOfficeHoursEnd">2000-01-01T09:00:00.000Z</field>
        <field name="genLongitude">6.879745</field>
    </doc>
</add>
"""

Answer 2

如果在请求参数中添加 wt=python ，Solr 可以返回 Python 字典。要将此文本响应转换为 Python 对象，请使用 ast.literal_eval （text_response）。

这比解析 XML 简单得多。

Answer 3

使用 ElementTree 的可能解决方案，为了示例，输出格式非常漂亮：

>>> import xml.etree.ElementTree as etree
>>> root = etree.parse(document).getroot()
>>> docs = []
>>> for doc in root.findall('doc'):
...   fields = {}
...   for field in doc:
...     fields[field.attrib['name']] = field.text
...   docs.append(fields)
... 
>>> print docs
[{'genLongitude': '5.879745',
  'genLatitude': '45.639968',
  'carOfficeHoursEnd': '2000-01-01T09:00:00.000Z'},
 {'genLongitude': '6.879745',
  'genLatitude': '46.639968',
  'carOfficeHoursEnd': '2000-01-01T09:00:00.000Z'}]

您显示的 XML 文档没有提供区分每个 doc 的方法，因此我认为列表是最好的收集每个字典的结构。

事实上，如果您想将每个 doc 数据插入到另一个字典中，当然可以，但您需要为该字典选择合适的键。例如，使用Python为每个对象提供的id，您可以这样写：

>>> docs = {}
>>> for doc in root.findall('doc'):
...   fields = {}
...   for field in doc:
...     fields[field.attrib['name']] = field.text
...   docs[id(fields)] = fields
... 
>>> print docs
{3076930796L: {'genLongitude': '6.879745',
               'genLatitude': '46.639968',
               'carOfficeHoursEnd': '2000-01-01T09:00:00.000Z'},
 3076905540L: {'genLongitude': '5.879745',
               'genLatitude': '45.639968',
               'carOfficeHoursEnd': '2000-01-01T09:00:00.000Z'}}

这个例子只是为了让您了解如何使用外部字典。如果您决定走这条路，我建议您找到一个有意义且可用的键，而不是 id 返回的对象的内存地址，该地址在不同的运行中可能会发生变化。

Answer 4

将来自外部的任何字符串直接评估到 python 中是有风险的。谁知道里面有什么。

我建议使用 json 接口。像这样的东西：

import json
import urllib2

response_dict = json.loads(urllib2.urlopen('http://localhost:8080/solr/combined/select?wt=json&q=*&rows=1').read())

#to view the dict
print json.dumps(answer, indent=1)