使用泛型来完成 HTML 抓取。对还是错？

Question

我的要求是下载并抓取各种 HTML 页面，根据我们在该页面上查找的对象类型从页面上的代码中提取对象列表。例如，一个页面可能包含嵌入的医生手术列表，另一个页面可能包含主要信任列表等。我必须一页一页地查看页面，最后得到适当对象类型的列表。

我选择的方法是使用一个名为 HTMLParser的通用类。其中 T : IEntity, new()

IEntity 是所有可以抓取的对象类型都将实现的接口，尽管我还没有弄清楚接口成员是什么。

因此，您实际上可以说

HTMLParser<Surgery> parser = new HTMLParser<Surgery>(URL, XSD SCHEMA DOC);
IList<Surgery> results = parser.Parse();

Parse() 将验证从 URL 下载的 HTML 字符串是否包含符合所提供的 XSD 文档的块，然后以某种方式使用此模板来提取 Surgery 对象列表，每个对象都对应于 HTML 字符串中的一个 XML 块。

我遇到的问题是

1. 除了 HTMLParser之外，我不确定如何以一种好的方式为每个对象类型指定模板。 parser = new HTMLParser(new URI("...."),Surgery.Template); 这有点笨拙。任何人都可以建议使用 .NET 3.0/4.0 的更好方法吗？

2. 我不确定如何以通用方式获取 HTML 字符串、获取 XSD 或 XML 模板文档，并返回通用类型的构造对象的通用列表。谁能建议如何做到这一点？

3. 最后，我不相信泛型是解决这个问题的正确方法，因为它开始看起来非常复杂。您同意还是谴责我在这里选择的解决方案，如果不同意，您会做什么？

Answer 1

我也不相信泛型是正确的解决方案。我使用良好的旧继承实现了与此非常相似的东西，并且我仍然认为这是完成这项工作的正确工具。

当您想要对不同类型执行相同的操作时，泛型非常有用。例如，集合就是泛型非常方便的一个很好的例子。

另一方面，当您希望对象继承通用功能，然后扩展和/或修改该功能时，继承非常有用。使用泛型来做到这一点是很混乱的。

我的 scraper 基类看起来像这样：

public class ScraperBase
{
    // Common methods for making web requests, etc.

    // When you want to download and scrape a page, you call this:
    public List<string> DownloadAndScrape(string url)
    {
        // make request and download page.
        // Then call Scrape ...
        return Scrape(pageText);
    }

    // And an abstract Scrape method that returns a List<string>
    // Inheritors implement this method.
    public abstract List<string> Scrape(string pageText);
}

里面还有一些其他的东西用于日志记录、错误报告等，但这就是它的要点。

现在，假设我有一个 Wordpress 博客抓取工具：

public class WordpressBlogScraper : ScraperBase
{
    // just implement the Scrape method
    public override List<string> Scrape(string pageText)
    {
        // do Wordpress-specific parsing and return data.
    }
}

我可以做同样的事情来编写 Blogspot 抓取工具，或者为任何页面、站点或数据类编写自定义抓取工具。

我实际上尝试做类似的事情，但我没有使用继承，而是使用了刮刀回调函数。类似于：

public delegate List<string> PageScraperDelegate(string pageText);

public class PageScraper
{
    public List<string> DownloadAndScrape(string url, PageScraperDelegate callback)
    {
        // download data to pageText;
        return callback(pageText);
    }
}

然后您可以这样写：

var myScraper = new PageScraper();
myScraper.DownloadAndScrape("http://example.com/index.html", ScrapeExample);

private List<string> ScrapeExample(string pageText)
{
    // do the scraping here and return a List<string>
}

这样效果相当好，并且无需为每种抓取工具类型创建一个新类。然而，我发现在我的情况下它太有限了。我最终几乎每种类型的抓取工具都需要不同的类，所以我继续使用继承。

Answer 2

我宁愿关注您的解析器/验证器类，因为正确设计它们对于将来使用的便利性至关重要。我认为更重要的是如何该机制将根据输入确定使用哪个解析器/验证器。

另外，当您被告知需要解析另一种类型的网站（例如发票实体）时会发生什么 - 您是否能够通过两个简单的步骤扩展您的机制来处理此类需求？