当前位置：文江博客话题详情

C# htmlagility 包，捕获重定向

发布于 2024-11-13 22:28:37 字数 150 浏览 3 评论 0原文

大家好，这真的很简单（我希望）。我正在使用 htmlagility pack 进行网络爬虫。那么，如果我输入 url，然后将我定向到新的 url，会发生什么情况，如何捕获该新的重定向 URL？

如果 htmlagility pack 没有办法，有人可以建议另一种方法吗？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

苹果你个爱泡泡 2024-11-20 22:28:37

使用 Html Agility Pack 附带的 HtmlWeb 类，您可以在实际执行之前调整请求，如下所示：

    HtmlWeb web = new HtmlWeb();
    web.PreRequest = OnPreRequest;
    HtmlDocument doc = web.Load("http://wwwblablahh.com");


private static bool OnPreRequest(HttpWebRequest request)
{
    request.AllowAutoRedirect = true;
    return true;
}

Using the HtmlWeb class that comes with the Html Agility Pack, you can tweak the request before it's actually executed, like this:

    HtmlWeb web = new HtmlWeb();
    web.PreRequest = OnPreRequest;
    HtmlDocument doc = web.Load("http://wwwblablahh.com");


private static bool OnPreRequest(HttpWebRequest request)
{
    request.AllowAutoRedirect = true;
    return true;
}

回复收藏 0 原文

止于盛夏 2024-11-20 22:28:37

创建 HttpWebRequest 时，您可以将 AllowAutoRedirect 属性设置为 true，它将自动遵循您拥有的任何重定向。

HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create("http://www.contoso.com");  
myHttpWebRequest.MaximumAutomaticRedirections=1;
myHttpWebRequest.AllowAutoRedirect=true;
HttpWebResponse myHttpWebResponse=(HttpWebResponse)myHttpWebRequest.GetResponse();

您可以在 msdn 找到更多信息

When you create your HttpWebRequest you can set AllowAutoRedirect property to true and it will automatically follow any redirects you have.

HttpWebRequest myHttpWebRequest = (HttpWebRequest)WebRequest.Create("http://www.contoso.com");  
myHttpWebRequest.MaximumAutomaticRedirections=1;
myHttpWebRequest.AllowAutoRedirect=true;
HttpWebResponse myHttpWebResponse=(HttpWebResponse)myHttpWebRequest.GetResponse();

you can find more info at msdn

回复收藏 0 原文

~没有更多了~