HtmlAgilityPack.HtmlDocument Cookie

Question

这与脚本内（可能在脚本标签内）设置的cookie有关。

System.Windows.Forms.HtmlDocument 执行这些脚本，并且可以通过其 Cookies 检索 cookie 集（如 document.cookie=etc...） em> 属性。

我假设 HtmlAgilityPack.HtmlDocument 不会执行此操作（执行）。我想知道是否有一种简单的方法来模拟 System.Windows.Forms.HtmlDocument 功能（cookie 部分）。

有人吗？

Answer 1

当我需要同时使用Cookies和HtmlAgilityPack，或者只是创建自定义请求（例如，设置User-Agent属性等）时，这就是我所做的：

• 创建一个封装请求/响应的类。让我们称这个类为 WebQuery
• 在该类中有一个私有的 CookieCollection （在您的情况下为 public）属性 在该类中
• 创建一个方法来手动执行要求。签名可以是：

...

public HtmlAgilityPack.HtmlDocument GetSource(string url);

我们需要在这个方法中做什么？

好吧，使用 HttpWebRequest 和 HttpWebResponse，生成 http 请求手动（Internet 上有几个关于如何执行此操作的示例），使用接收流的构造函数创建 HtmlDocument 类的实例。

我们必须使用什么流？好吧，返回的是：

httpResponse.GetResponseStream();

如果您使用HttpWebRequest进行查询，您可以轻松设置CookieContainer 它的属性到您每次访问新页面之前声明的变量，这样您访问的站点设置的所有 cookie 都将正确存储在您在WebQuery 类，考虑您仅使用 WebQuery 类的一个实例。

希望您觉得这个解释有用。考虑一下，使用它，您可以做任何您想做的事情，无论 HtmlAgilityPack 是否支持它。

Answer 2

我还使用了 Rohit Agarwal 的 BrowserSession 类以及 HtmlAgilityPack。
但对我来说，随后的“获取函数”调用不起作用，因为每次都会设置新的 cookie。
这就是为什么我自己添加了一些功能。 （我的解决方案距离完美还有很长的路要走 - 这只是一个快速而肮脏的修复）但对我来说它有效，如果你不想花很多时间来调查 BrowserSession 类是我所做的：

添加/修改的功能如下：

class BrowserSession{
   private bool _isPost;
   private HtmlDocument _htmlDoc;
   public CookieContainer cookiePot;   //<- This is the new CookieContainer

 ...

    public string Get2(string url)
    {
        HtmlWeb web = new HtmlWeb();
        web.UseCookies = true;
        web.PreRequest = new HtmlWeb.PreRequestHandler(OnPreRequest2);
        web.PostResponse = new HtmlWeb.PostResponseHandler(OnAfterResponse2);
        HtmlDocument doc = web.Load(url);
        return doc.DocumentNode.InnerHtml;
    }
    public bool OnPreRequest2(HttpWebRequest request)
    {
        request.CookieContainer = cookiePot;
        return true;
    }
    protected void OnAfterResponse2(HttpWebRequest request, HttpWebResponse response)
    {
        //do nothing
    }
    private void SaveCookiesFrom(HttpWebResponse response)
    {
        if ((response.Cookies.Count > 0))
        {
            if (Cookies == null)
            {
                Cookies = new CookieCollection();
            }    
            Cookies.Add(response.Cookies);
            cookiePot.Add(Cookies);     //-> add the Cookies to the cookiePot
        }
    }

它的作用：它基本上保存了初始的 cookie" Post-Response”并将相同的 CookieContainer 添加到稍后调用的请求中。我不完全理解为什么它在初始版本中不起作用，因为它在 AddCookiesTo 函数中以某种方式执行相同的操作。 (if (Cookies != null && Cookies.Count > 0) request.CookieContainer.Add(Cookies);)
无论如何，有了这些附加功能，它现在应该可以正常工作了。

它可以这样使用：

//initial "Login-procedure"
BrowserSession b = new BrowserSession();
b.Get("http://www.blablubb/login.php");
b.FormElements["username"] = "yourusername";
b.FormElements["password"] = "yourpass";
string response = b.Post("http://www.blablubb/login.php");

所有后续调用都应该使用：

response = b.Get2("http://www.blablubb/secondpageyouwannabrowseto");
response = b.Get2("http://www.blablubb/thirdpageyouwannabrowseto");
...

我希望当您遇到同样的问题时它会有所帮助。