如何使用 C# 发布到 ASP.NET 验证所需的页面并读取响应

Question

我正在编写自己的特定产品爬虫。现在有一个产品销售网站，其页面使用帖子数据。我真的非常需要能够发布数据并阅读响应。但他们使用的是 asp.net 验证，而且非常混乱。我真的不知道如何正确发布数据和阅读。我正在使用 htmlagilitypack。如果可以使用 htmlagilitypack 发布数据并读取响应，那就太棒了。

现在这是示例页面： http://www.hizlial.com/HizliListele.aspx? CatID=482643

当您打开页面时，查看“urun_listele”类，

您将看到那里的选项

20 Ürün Listele
40 Ürün Listele
60 Ürün Listele
Tümünü Listele

这些数字是要显示的产品数量。 Tümünü listele 意思是列出所有产品。现在我真的需要发布数据并获取该产品类别下的所有产品。我使用 firebug 进行调试并尝试在下面编写代码，但我仍然获得默认数量的产品

        private void button11_Click(object sender, RoutedEventArgs e)
    {
        StringBuilder srBuilder = new StringBuilder();
        AppendPostParameter(srBuilder, "ctl00$ContentPlaceHolder1$cmbUrunSayi", "full");    
        srBuilder = srBuilder.Replace("&", "", srBuilder.Length - 1, 1);
        byte[] byteArray = Encoding.UTF8.GetBytes(srBuilder.ToString());
        HttpWebRequest hWebReq = (HttpWebRequest)WebRequest.Create("http://www.hizlial.com/HizliListele.aspx?CatID=482643");
        hWebReq.Method = "POST";
        hWebReq.ContentType = "application/x-www-form-urlencoded";

        using (Stream requestStream = hWebReq.GetRequestStream())
        {
            requestStream.Write(byteArray, 0, byteArray.Length);
        }
        HtmlDocument hd = new HtmlDocument();

        using (HttpWebResponse response = (HttpWebResponse)hWebReq.GetResponse())
        {
            using (StreamReader sr = new StreamReader(response.GetResponseStream()))
            {              
                var htmlstring = sr.ReadToEnd();
            }
        }
    }

    static private void AppendPostParameter(StringBuilder sb, string name, string value)
    {
        sb.AppendFormat("{0}={1}&", name, HttpUtility.UrlEncode(value));
    }

在获得数据后，我将其加载到 htmlagilitypack HtmlDocument

任何帮助都将受到赞赏。

C# 4.0、wpf 应用程序、htmlagiltiypack

Answer 1

ASP .Net 使用 __EVENTTARGET 和 __EVENTARGUMENT 字段来模拟 Windows 窗体行为。要模拟服务器上组合框的更改事件，您需要附加到表单字段以请求它们为 __EVENTTARGET 作为 'ctl00$ContentPlaceHolder1$cmbUrunSayi' 和 __EVENTARGUMENT 为 ''。

如果您查看组合和 __doPostBack 方法的 onchange 代码，您就会明白我的意思。您可以在 srBuilder 声明后插入以下代码。这样代码就可以工作了。

AppendPostParameter(srBuilder,  "__EVENTTARGET", "ctl00$ContentPlaceHolder1$cmbUrunSayi"); 
AppendPostParameter(srBuilder, "__EVENTARGUMENT", string.Empty); 

您还需要提取 __VIEWSTATE & __EVENTVALIDATION 值。要获得它们，只需发送一个虚拟请求并从该请求中提取值和 cookie，然后将它们附加到新请求中......