网页抓取（流行网站的 HTML 格式）

Question

如何抓取任何网站来为我的网站创建提要？最流行的网站遵循什么格式？

Answer 1

您必须对每个网站进行逆向工程，因为它们不遵循通用格式或其他内容（网络开发人员的自由）。只抓取他们的 rss feed 怎么样？

Answer 2

我正在使用 Octoparse（免费的网络抓取工具） 向最终用户提供及时的信息。

我用它从多个数据源中抓取数据，并将提取的数据转换为结构化数据表。可以轻松地自动向所有订阅您的数据源的用户提供大量及时的信息。
您只需在 Octoparse 中安排提取任务即可自动收集 Web 数据并使用最新的 Internet 内容丰富您的应用程序。

Answer 3

我不相信很多网站都会抓取内容，但如果您愿意，我会选择 RSS（真正简单的聚合）。几乎每个网站都会有一个，并且从中进行抓取很容易。
RSS 2.0 规范

Brian 发表了一篇关于阅读 RSS 的几种方法（用 C#）的好文章。

http://msdn.microsoft.com/en-us/library/bb943474。 .aspx

http://msdn.microsoft.com /en-us/library/system.servicemodel.synmination.synminationfeed.aspx

http://msdn.microsoft.com/en-us/library /bb943480.aspx

这里是一些基于网络的工具也可以通过组合多个其他工具来制作单个提要。

在此引用该列表：

1. RSS 混合器
2. FeedBlendr
3. FeedTwister
4. 博客筛
5. RSSMesh
6. RSS 混合
7. BlastFeed
8. 饲料联合收割机
9. 弗兰肯饲料
10. 雅虎管道

希望这会有所帮助:)