如何使用 HtmlAgilityPack 提取完整 url - C#

Question

好吧，按照下面的方式，它只提取像这样的引用 url 的

提取代码：

foreach (HtmlNode link in hdDoc.DocumentNode.SelectNodes("//a[@href]"))
{
    lsLinks.Add(link.Attributes["href"].Value.ToString());
}

url 代码

<a href="Login.aspx">Login</a>

提取的 url

Login.aspx

但我想获得浏览器解析的真实链接，就像

http://www.monstermmorpg.com/Login.aspx

我可以通过检查 url 是否包含 http 来完成，如果不包含，则添加域值，但在某些情况下它可能会导致一些问题，我认为这不是一个非常明智的解决方案。

时间：2019-03-07 标签：c#4.0、HtmlAgilityPack.1.4.0

Answer 1

假设您有原始 url，您可以将解析后的 url 组合起来，如下所示：

// The address of the page you crawled
var baseUrl = new Uri("http://example.com/path/to-page/here.aspx");

// root relative
var url = new Uri(baseUrl, "/Login.aspx");
Console.WriteLine (url.AbsoluteUri); // prints 'http://example.com/Logon.aspx'

// relative
url = new Uri(baseUrl, "../foo.aspx?q=1");
Console.WriteLine (url.AbsoluteUri); // prints 'http://example.com/path/foo.aspx?q=1'

// absolute
url = new Uri(baseUrl, "http://stackoverflow.com/questions/7760286/");
Console.WriteLine (url.AbsoluteUri); // prints 'http://stackoverflow.com/questions/7760286/'

// other...
url = new Uri(baseUrl, "javascript:void(0)");
Console.WriteLine (url.AbsoluteUri); // prints 'javascript:void(0)'

注意使用 AbsoluteUri 而不是依赖于 ToString()，因为 ToString code> 对 URL 进行解码（以使其更加“人类可读”），这通常不是您想要的。

Answer 2

我可以通过检查 url 是否包含 http 来实现，如果不包含则添加域值

这就是你应该做的。 Html Agility Pack 对此没有任何帮助：

var url = new Uri(
    new Uri(baseUrl).GetLeftPart(UriPartial.Path), 
    link.Attributes["href"].Value)
);