从论坛中的线程中提取特定字段

Question

我正在开发一个数据挖掘项目，我需要分析论坛线程中的讨论进度。我有兴趣提取信息，例如帖子时间、帖子作者的统计信息（帖子数量、加入日期等）、帖子文本等。

但是，在使用标准抓取工具（例如 python 中的 Scrapy）时，我需要在页面的 html 源代码中编写用于检测这些字段的正则表达式。由于这些标签随论坛类型的不同而不同，因此解决每个论坛的正则表达式成为一个主要问题。是否有可用的此类正则表达式的标准库，以便可以根据论坛的类型使用它们？

或者是否有任何其他技术可以从论坛页面中提取这些字段。

Answer 1

我为一些主要论坛写了一些配置文件。希望你能破译并推断如何解析它。

对于 VBulletin：

enclosed_section=tag:table,attributes:id;threadslist
thread=tag:a,attributes:id;REthread_title_
list_next_page=type:next_page,attributes:anchor_text;>
post=tag:div,attributes:id;REpost_message_
thread_next_page=type:next_page,attributes:anchor_text;>

encapsulated_section 是包含所有线程链接的 div
线程是您可以找到每个线程的链接的地方
list_next_page 是带有线程列表的下一页的链接
post 是带有帖子文本的 div。
thread_next_page 是指向线程下一页的链接

For Invision：

enclosed_section=tag:table,attributes:id;forum_table
thread=tag:a,attributes:class;topic_title
list_next_page=tag:a,attributes:rel;next,inside_tag_attribute:href
post=tag:div,attributes:class;post entry-content |
thread_next_page=tag:a,attributes:rel;next,inside_tag_attribute:href
post_count_section=tag:td,attributes:class;stats
post_count=tag:li,attributes:,reg_exp:(\d+) Repl

Answer 2

您仍然需要为每个论坛创建多种方法。但正如亨利所言，也有很多论坛共享其结构。

关于轻松解析论坛帖子的日期， dateparser 正是从这一特定需求中诞生的，它可以是很有帮助。