如何从维基百科中提取统计数据？

Question

我想提取维基百科中所有死者的列表并比较他们去世时的年龄。维基百科上所有死去的人都填写了以下字段：

| birth_name = Thomas Alva Edison
| birth_date = {{birth date|mf=yes|1847|02|11}}
| death_date ={{death date and age|mf=yes|1931|10|18|1847|02|11}}

我将不得不制作一个爬虫？维基百科 API 中有什么可以帮助我的吗？ 有什么地方可以让我开始爬行吗？有死者名单吗？

Answer 1

您可以在此处找到可供下载的维基百科所有内容的转储：

http://dumps.wikimedia。 org/enwiki/latest/

该文件是一个大小为几 GB 的 .xml 文件，包含维基百科上所有页面的文本（以及其他内容）。如何处理它取决于您要使用的编程语言。

Answer 2

这就是 DBpedia 的用途 - 数据库中维基百科的所有结构化数据。在 http://dbpedia.org/sparql 尝试以下查询：

select distinct ?p, ?d where {
  ?p a <http://dbpedia.org/ontology/Person> .
  ?p <http://dbpedia.org/ontology/deathDate> ?d .
}