如何在 C# 中登录网页并检索其内容？

Question

如何在 C# 中登录网页并检索其内容？

Answer 1

这取决于登录所需的内容。您可以使用 Web 客户端将登录凭据发送到服务器的登录页面（通过所需的任何方法，GET 或 POST），但这不会保留 cookie。 有一种方法让网络客户端处理cookie，所以您可以将登录信息发布到服务器，然后使用同一网络客户端请求您想要的页面，然后对该页面执行您想要的任何操作。

Answer 2

查看System.Net.WebClient，或者了解更高级的要求System.Net.HttpWebRequest/System.Net.HttpWebResponse。

至于实际应用这些：您必须研究要抓取的每个页面的 html 源代码，以便准确了解它所期望的 Http 请求。

Answer 3

“登录”是什么意思？

如果子文件夹在操作系统级别受到保护，并且当您访问该子文件夹时浏览器会弹出登录对话框，则您将需要在 HttpWebRequest 上设置 Credentials 属性。

如果网站有自己的基于 cookie 的会员/登录系统，您将必须使用 HttpWebRequest 首先响应登录表单。

Answer 4

string postData = "userid=ducon";
            postData += "&username=camarche" ;
            byte[] data = Encoding.ASCII.GetBytes(postData);
            WebRequest req = WebRequest.Create(
                URL);
            req.Method = "POST";
            req.ContentType = "application/x-www-form-urlencoded";
            req.ContentLength = data.Length;
            Stream newStream = req.GetRequestStream();
            newStream.Write(data, 0, data.Length);
            newStream.Close();
            StreamReader reader = new StreamReader(req.GetResponse().GetResponseStream(), System.Text.Encoding.GetEncoding("iso-8859-1"));
            string coco = reader.ReadToEnd();

Answer 5

使用 WebClient 类。

Dim Html As String

Using Client As New System.Net.WebClient()
    Html = Client.DownloadString("http://www.google.com")
End Using

Answer 6

您可以使用 WebClient 对象中的构建，而不是自己创建请求。

WebClient wc = new WebClient();
wc.Credentials = new NetworkCredential("username", "password");
string url = "http://foo.com";          
try
{
    using (Stream stream = wc.OpenRead(new Uri(url)))
    {
        using (StreamReader reader = new StreamReader(stream))
        {
            return reader.ReadToEnd();
             }
    }
}
catch (WebException e)
{
    //Error handeling
}

Answer 7

尝试这个：

public string GetContent(string url)  
{ 
  using (System.Net.WebClient client =new System.Net.WebClient()) 
  { 
  return client.DownloadString(url); 
  } 
}