如何将 HTML 读取为 XML？

Question

我想从从互联网下载的 html 页面中提取几个链接，我认为使用 linq to XML 对于我的情况来说是一个很好的解决方案。
我的问题是我无法从 HTML 创建 XmlDocument，使用 Load(string url) 不起作用，所以我使用以下方法将 html 下载到字符串中：

public static string readHTML(string url)
    {
        HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);
        HttpWebResponse res = (HttpWebResponse)req.GetResponse();
        StreamReader sr = new StreamReader(res.GetResponseStream());

        string html = sr.ReadToEnd();
        sr.Close();
        return html;
    }

当我尝试使用 LoadXml(string xml) 加载该字符串时，我得到异常

'--' is an unexpected token. The expected token is '>'

我应该采取什么方式将html文件读取为可解析的XML

Answer 1

HTML 与 XML 根本不同（除非 HTML 实际上恰好符合 XML 模式中的 XHTML 或 HTML5）。最好的方法是使用 HTML 解析器 来读取 HTML。然后，您可以将其转换为 Linq to XML – 或直接处理它。

Answer 2

我自己没有使用过它，但我建议你看一下 SgmlReader。这是他们主页的示例：

// setup SgmlReader
Sgml.SgmlReader sgmlReader = new Sgml.SgmlReader()
{
    DocType = "HTML",
    WhitespaceHandling = WhitespaceHandling.All,
    CaseFolding = Sgml.CaseFolding.ToLower,
    InputStream = reader
};

// create document
XmlDocument doc = new XmlDocument()
{
    PreserveWhitespace = true,
    XmlResolver = null
};
doc.Load(sgmlReader);
return doc;

Answer 3

如果您想从页面中提取一些链接，正如您所提到的，请尝试使用 HTML 敏捷包。

此代码从网络获取页面并提取所有链接：

HtmlWeb web = new HtmlWeb();  
HtmlDocument document = web.Load("http://www.stackoverflow.com");  
HtmlNode[] links = document.DocumentNode.SelectNodes("//a").ToArray(); 

从磁盘打开一个 html 文件并获取特定链接的 URL：

HtmlDocument document2 = new HtmlDocument();  
document2.Load(@"C:\Temp\page.html")  
HtmlNode link = document2.DocumentNode.SelectSingleNode("//a[@id='myLink']");
Console.WriteLine(link.Attributes["href"].Value);

Answer 4

HTML 不是 XML。 HTML 基于 SGML，因此不能确保标记是格式良好的 XML（XML 是 SGML 本身的子集）。您只能将 XHTML（即 XML 兼容的 HTML）解析为 XML。但当然，大多数网站的情况并非如此。

要使用 HTML，您需要使用 HTML 解析器。

Answer 5

如果您知道您感兴趣的节点，我将使用正则表达式从字符串中提取链接。