在Python中解析大型RDF

Question

我想用 python 解析一个非常大（大约 200MB）的 RDF 文件。我应该使用 sax 还是其他库？我希望有一些非常基本的代码可以用来构建，比如检索标签。

提前致谢。

Answer 1

如果您正在寻找快速的性能，那么我建议您将 Raptor 与 Redland Python 绑定。用 C 语言编写的 Raptor 的性能比 RDFLib 好得多。如果您不想处理 C，您可以使用 python 绑定。

提高性能的另一个建议是，忘记解析 RDF/XML，使用其他风格的 RDF，如 Turtle 或 NTriples。专门解析 ntriples 比解析 RDF/XML 快得多。这是因为 ntriples 语法更简单。

您可以使用 rapper 将 RDF/XML 转换为 ntriples，rapper 是 raptor 附带的工具：

rapper -i rdfxml -o ntriples YOUR_FILE.rdf > YOUR_FILE.ntriples

ntriples 文件将包含如下三元组：

<s1> <p> <o> .
<s2> <p2> "literal" .

并且解析器往往可以非常有效地处理这种结构。此外，内存方面比 RDF/XML 更高效，因为如您所见，这种数据结构更小。

下面的代码是使用 redland python 绑定的简单示例：

import RDF
parser=RDF.Parser(name="ntriples") #as name for parser you can use ntriples, turtle, rdfxml, ...
model=RDF.Model()
stream=parser.parse_into_model(model,"file://file_path","http://your_base_uri.org")
for triple in model:
    print triple.subject, triple.predicate, triple.object

如果您在 RDF 文档中使用相对 URI，则基本 URI 是前缀 URI。 可以在此处查看有关 Python Redland 绑定 API 的文档

如果您不太关心， 如果想了解性能那就用RDFLib，简单易用。

Answer 2

我同意您尝试 rdflib 的建议。这是很好且快速的原型设计，如果您不想将整个图加载到内存中，BerkeleyDB 后端存储可以很好地扩展到数百万个三元组。

import rdflib

graph = rdflib.Graph("Sleepycat")
graph.open("store", create=True)
graph.parse("big.rdf")

# print out all the triples in the graph
for subject, predicate, object in graph:
    print subject, predicate, object

Answer 3

根据我的经验，SAX 的性能非常好，但编写起来很痛苦。除非我遇到问题，否则我倾向于避免使用它进行编程。

“非常大”取决于机器的 RAM。假设您的计算机有超过 1GB 内存，lxml, pyxml 或其他一些库 e 对于 200mb 文件就可以了。

Answer 4

不确定 sax 是否是最佳解决方案，但 IBM 似乎认为它适用于使用 Python 进行高性能 XML 解析： http://www.ibm.com/developerworks/xml/library/x-hiperfparse/。他们的示例 RDF 在大小上使您相形见绌（200MB 与 1.9GB），因此他们的解决方案应该适合您。

本文的示例开始时非常基础，并且很快就能上手。

Answer 5

LightRdf 是一个非常快速的解析 RDF 文件的库。可以通过 pip 安装。代码示例可以在项目页面上找到。

如果你想从 gzip 压缩的 RDF 文件中解析三元组，你可以这样做：

import lightrdf
import gzip

RDF_FILENAME = 'data.rdf.gz'

f = gzip.open(RDF_FILENAME, 'rb')
doc = lightrdf.RDFDocument(f, parser=lightrdf.xml.PatternParser)
for (s, p, o) in doc.search_triples(None, None, None)):
            print(s, p, o)

Answer 6

对于 Python 中的 RDF 处理，请考虑使用 RDF 库，例如 RDFLib。如果您还需要三重存储，也可以使用更重量级的解决方案，但这里可能不需要（PySesame、neo4jrdf 与 neo4jpy）。

在为 RDF 编写自己的 SAX 解析器之前，请查看 rdfxml.py：

import rdfxml
data = open('data.rdf', 'r').read()
rdfxml.parseRDF(data)