通过 API 从 mediawiki 页面获取文本内容

Question

我对 MediaWiki 还很陌生，现在遇到了一些问题。 我有一些 Wiki 页面的标题，我想使用 api.php 获取所述页面的文本，但我在 API 中找到的只是一种获取 Wiki 内容的方法页面的内容（带有 wiki 标记）。我使用了这个 HTTP 请求...

/api.php?action=query&prop=revisions&rvlimit=1&rvprop=content&format=xml&titles=test

但我只需要文本内容，不需要 Wiki 标记。 MediaWiki API 可以实现这一点吗？

Answer 1

使用 action=parse 获取 html：

/api.php ?action=parse&page=test

从 html 获取文本的一种方法是将其加载到浏览器中并使用 JavaScript 遍历节点，仅查找文本节点。

Answer 2

API 的 TextExtracts 扩展可以满足您的要求。使用 prop=extracts 获得清理后的响应。例如， 此链接将为您提供 Stack Overflow 文章的清理文本。同样好的一点是它仍然包含部分标签，因此您可以识别文章的各个部分。

只是为了在我的答案中包含一个可见的链接，上面的链接如下所示：

/api.php?format=xml&action=query&prop=extracts&titles=Stack%20Overflow&redirects=true

编辑：正如 Amr 提到的，TextExtracts 是 MediaWiki 的扩展，因此不一定适用于每个 MediaWiki 站点。

Answer 3

在 MediaWiki 页面末尾添加 ?action=raw 以原始文本格式返回最新内容。例如：- https://en.wikipedia.org/wiki/Main_Page?action=raw< /a>

Answer 4

您可以使用 explaintext 参数从 API 获取文本格式的 wiki 数据。另外，如果您需要访问许多图书的信息，您可以通过一次调用获取所有图书的 wiki 数据。使用竖线字符 | 分隔每个标题。例如，此 API 调用将从“Google”和“Yahoo”页面返回数据：

http://en.wikipedia.org/w/api.php?format=json&action=query&prop=extracts&exlimit=max&explaintext&exintro&titles=Yahoo|Google&redirects=

参数：

• explaintext：以纯文本形式返回摘录，而不是有限的 HTML。
• exlimit=max：返回多个结果。当前最大值为 20。
• exintro：仅返回第一部分之前的内容。如果您想要完整的数据，只需删除它即可。
• redirects=：解决重定向问题。

Answer 5

这是最简单的方法：
http ://en.wikipedia.org/w/api.php?format=xml&action=query&titles=Albert%20Einstein&prop=revisions&rvprop=content

Answer 6

提出此问题的 Python 用户可能对 wikipedia 模块感兴趣 (docs)：

import wikpedia
wikipedia.set_lang('de')
page = wikipedia.page('Wikipedia')
print(page.content)

除部分 (==) 之外的所有格式都是条带化的离开。

Answer 7

我认为使用 API 不可能只获取文本。

对我有用的是请求 HTML 页面（使用在浏览器中使用的普通 URL）并删除内容 div 下的 HTML 标签。

编辑：

我使用 Java 的 HTML Parser 取得了很好的结果。它提供了如何删除给定 DIV 下的 HTML 标签的示例。

Answer 8

使用 action=render 获得尽可能干净的页面：

https://wiki.eclipse .org/Tip_of_the_Day/Eclipse_Tips/Now_where_was_I?action=render

与

https://wiki .eclipse.org/Tip_of_the_Day/Eclipse_Tips/Now_where_was_I

Answer 9

将内容引入页面后，您可以做一件事 - 您可以使用 PHP 函数 strip_tags() 删除 HTML 标记。