使用 C# 中的 asp.net 对 https:// 上任何站点的安全页面进行屏幕抓取

Question

我已经通过下面的代码完成了 http 上任何网站的安全页面的网站抓取：

    string cookiedata = "fsfsfsdfsfsfsfsfsdf";
    NetworkCredential credential = new NetworkCredential("xxx", "xxx");

    HttpWebRequest request = HttpWebRequest.Create("https://ysats.com") as HttpWebRequest;

    //set the user agent so it looks like IE to not raise suspicion 
    request.UserAgent = "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)";
    request.Method = "POST";
    //set the cookie in the request header
    request.Headers.Add("Cookie", cookiedata);
    request.Credentials = credential;

    //get the response from the server
    HttpWebResponse response = (HttpWebResponse)request.GetResponse();
    using (Stream stream = response.GetResponseStream())
    {
        using (StreamReader reader = new StreamReader(stream))
        {
            string pagedata = reader.ReadToEnd();
            //now we can scrape the contents of the secure page as needed
            //since the page contents is now stored in our pagedata string
            Response.Write(pagedata);
        }
    }
    response.Close();

但是当我尝试通过此代码抓取 https:// 上的任何网站时，我总是抓取登录页面而不是安全页面，不是必需的页面。

请建议我应该怎么做才能抓取 https 上任何网站的安全页面。

Answer 1

您需要发送包含网站登录详细信息的 POST 请求，然后抓取登录后的页面。您还必须确保您的 WebClient 保留 cookie。

这将不可避免地因站点而异（字段的名称、需要哪些信息等），因此您将无法开发一揽子解决方案，并且您必须检查登录是否失败，否则您将最终再次抓取登录页面。

另请参阅此重复问题。