什么是适合 Python 的优秀 XML 流解析器？

Question

Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not meet Stack Overflow guidelines. It is not currently accepting answers.

---

我们不允许提出寻求软件库、教程、工具、书籍或其他场外资源推荐的问题。您可以编辑问题，以便用事实和引文来回答。

5 年前已关闭。

Answer 1

这是关于好答案 .elementtree.html#xml.etree.ElementTree.iterparse" rel="noreferrer">xml.etree.ElementTree.iterparse 在大型 XML 文件上进行练习。 lxml 也有这个方法。使用 iterparse 进行流解析的关键是手动清除和删除已处理的节点，否则最终会耗尽内存。

另一种选择是使用 xml.sax。官方手册对我来说太正式了，并且缺乏示例，因此需要与问题一起进行澄清。默认解析器模块xml.sax.expatreader，实现增量解析接口xml.sax.xmlreader.IncrementalParser。也就是说xml.sax.make_parser()提供了合适的流解析器。

例如，给定一个像这样的 XML 流：

<?xml version="1.0" encoding="utf-8"?>
<root>
  <entry><a>value 0</a><b foo='bar' /></entry>
  <entry><a>value 1</a><b foo='baz' /></entry>
  <entry><a>value 2</a><b foo='quz' /></entry>
  ...
</root>

可以按以下方式处理。

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import xml.sax


class StreamHandler(xml.sax.handler.ContentHandler):

  lastEntry = None
  lastName  = None


  def startElement(self, name, attrs):
    self.lastName = name
    if name == 'entry':
      self.lastEntry = {}
    elif name != 'root':
      self.lastEntry[name] = {'attrs': attrs, 'content': ''}

  def endElement(self, name):
    if name == 'entry':
      print({
        'a' : self.lastEntry['a']['content'],
        'b' : self.lastEntry['b']['attrs'].getValue('foo')
      })
      self.lastEntry = None
    elif name == 'root':
      raise StopIteration

  def characters(self, content):
    if self.lastEntry:
      self.lastEntry[self.lastName]['content'] += content


if __name__ == '__main__':
  # use default ``xml.sax.expatreader``
  parser = xml.sax.make_parser()
  parser.setContentHandler(StreamHandler())
  # feed the parser with small chunks to simulate
  with open('data.xml') as f:
    while True:
      buffer = f.read(16)
      if buffer:
        try:
          parser.feed(buffer)
        except StopIteration:
          break
  # if you can provide a file-like object it's as simple as
  with open('data.xml') as f:
    parser.parse(f)

Answer 2

您是否在寻找xml.sax？它就在标准库中。

Answer 3

使用xml.etree.cElementTree。它比 xml.etree.ElementTree 快得多。它们都没有坏。您的文件已损坏（请参阅我对您的其他问题的回答）。