Dbpedia 提取框架 - 如何去除 mediawiki 格式标记

Question

我正在使用 dbpedia 提取框架。这看起来非常好，我很高兴构建维基百科页面的 AST 并提取链接（使用 WikiParser）。然而，尽管我从解析中得到了一个很好的结构化树，但我注意到文本节点仍然包含大量格式标记（例如用于斜体、粗体等的撇号）。就我的目的而言，这些没有帮助 - 我只想要纯文本。

我可以花一些时间编写自己的代码来删除它，但我假设这样的东西对 dbpedia 很有用 - 并且它存在于库中的某个地方。我说得对吗？如果是这样 - 剥离为裸文本的额外功能在哪里？

否则 - 有人知道任何其他（最好是 scala）软件包可以去除 mediawiki 标记吗？

编辑

响应更多详细信息的请求。以下标记：

''An italicised '''bit''' of text'', <b>Some markup</b>

作为 TextNode 的内容通过 dbpedia 提供，但未受影响。我希望能够将其简化为：

 An italicised bit of text, Some markup

或者可能是一个更结构化的 AST，其中包含表示原始文本每个部分的附加节点，可能用要应用的格式类型（例如斜体、粗体等）进行注释（在每个节点上） ）。

事实上，dbpedia 解析的最终结果仍然充满了标记。

希望有帮助。

Answer 1

快速浏览一下 SimpleWikiParser 源代码 表明，截至 2011 年 1 月 29 日，解析器处理以下实体：

• 注释
• 引用
• 代码块
• 内部链接和外部链接
• 属性
• 表。

想必所有 wiki 其他内容最终都会出现在 TextNode 对象中。查看 wiki 标记功能集，需要进行大量工作维基语法元素，更不用说将它们进一步转换为结构化元素了。

对于您可以利用的替代方案或代码，请查看以下替代解析器页。

对于一个独立但不完美的解决方案，您可以在 node.text 上执行一堆正则表达式替换。

Answer 2

gwtwiki (bliki) 项目处理 mediawiki 格式 -> pdf/html/等。它是一个相当完整的框架，用于解析和重新格式化 mediawiki 文本。

Answer 3

您可以通过使用 WikiUtil.removeWikiEmphasis 并添加一些额外规则来启动此过程。

就我而言，我将文本映射到 toWikiText 并将节点链接到其目标名称。

case text:TextNode => text.toWikiText
case link:LinkNode => {
link match {
   case external:ExternalLinkNode =>  (external.destination.toString)
   case internal:InternalLinkNode =>  (internal.destination.decodedWithNamespace)
   case inter:InterWikiLinkNode   =>  (inter.destination.decodedWithNamespace)
}