从登录后的页面获取 HTML

Question

这个问题是我的上一个问题关于从 ASPX 页面获取 HTML 的后续问题。 我决定尝试使用 webclient 对象，但问题是我获取了登录页面的 HTML，因为需要登录。 我尝试使用 webclient 对象“登录”：

WebClient ww = new WebClient();

 ww.DownloadString("Login.aspx?UserName=&Password=");

 string html = ww.DownloadString("Internal.aspx");

但我仍然始终得到登录页面。 我知道用户名信息没有存储在 cookie 中。 我一定是做错了什么或者遗漏了重要的部分。 有谁知道它可能是什么？

Answer 1

使用 Fiddler 查看通过浏览器手动执行操作时发生的 HTTP 请求和响应。

Answer 2

@Fire Lancer：我在测试期间问了自己同样的问题，所以我检查了，它确实可以在浏览器中工作。

Answer 3

由于我试图获取的 aspx 页面位于我自己的项目中，因此我可以使用 Server.Execute 方法。 更多详细信息请参阅我对原始问题的回答

Answer 4

将 Firefox 与 LiveHttpHeaders 插件结合使用。
这将允许您通过实际的浏览器登录并准确查看发送到服务器的内容。 我的第一个问题是验证它是否不需要表单中的 POST。 您正在加载的示例 URL 通过查询字符串 GET 发送信息。

Answer 5

在浏览器中使用“Login.aspx?UserName=&Password=”打开页面是否正常工作？
某些页面可能不允许使用 url 中提供的数据进行登录，并且必须在页面的登录表单中输入该数据，然后提交。

Answer 6

只需将有效的登录参数传递给给定的 URI。 应该可以帮助你。

如果您没有登录信息，则不应尝试规避它。

public static string HttpPost( string URI, string Parameters )
      {
         System.Net.WebRequest req = System.Net.WebRequest.Create( URI );
         req.ContentType = "application/x-www-form-urlencoded";
         req.Method = "POST";
         byte[] bytes = System.Text.Encoding.ASCII.GetBytes( Parameters );
         req.ContentLength = bytes.Length;
         System.IO.Stream os = req.GetRequestStream();
         os.Write( bytes, 0, bytes.Length );
         os.Close();
         System.Net.WebResponse resp = req.GetResponse();
         if ( resp == null ) return null;
         System.IO.StreamReader sr = new System.IO.StreamReader( resp.GetResponseStream() );
         return sr.ReadToEnd().Trim();
      }

Answer 7

尝试设置 WebClient 对象的凭据属性

WebClient ww = new WebClient();
ww.Credentials = CredentialCache.DefaultCredentials;
ww.DownloadString("Login.aspx?UserName=&Password=");
string html = ww.DownloadString("Internal.aspx");

Answer 8

我能想到的唯一另一个原因是网页故意阻止其登录。如果您有权访问代码，请查看用于查看的登录系统，看看是否有任何旨在阻止此类登录的内容。