C#中模拟缓冲模式下的Fiddler请求

Question

我正在构建一个网络抓取或爬虫 C# .NET 应用程序，它不断向服务器发送请求以收集一些信息。问题是，对于该特定服务器的某些网页，Web 响应始终是 404 未找到。然而令人惊讶的是，我发现只要“Fiddler”正在工作，问题似乎就会消失，并且请求会返回成功的响应。自从寻求答案以来，我一直在网上搜索，但没有找到。从好的方面来说，在搜索网络并分析 Fiddler 的时间线功能后，我得出了一些结论。

1.Fiddler使用Buffered模式加载这些网页，而我的应用程序使用Stream模式。 2.Fiddler 似乎重复使用了连接，或者换句话说 Keep-Alive 设置为 true。

现在的问题是我如何模仿或模拟 Fiddler 在缓冲模式下加载 Web 响应的方式，以及 Fiddler 是否实际上做了一些技巧（即修改响应）来获得正确的响应。我正在使用 HttpWebRequest 和 HttpWebResponse 来请求我的页面。我需要一种方法在将数据返回到客户端（这是我的服务器）之前完全缓冲 httpweb 响应。

公共静态 String getCookie（字符串用户名，字符串密码） { HttpWebRequest request = (HttpWebRequest)WebRequest.Create("某个链接");

       request.UserAgent = "Mozilla/5.0 (Windows NT 6.0; rv:6.0.2) Gecko/20100101 Firefox/6.0.2";


       request.Credentials = new NetworkCredential(username, password);


       HttpWebResponse wr = (HttpWebResponse)request.GetResponse();
           String y = wr.Headers["Set-Cookie"].ToString();
           return y.Replace("; path=/", "");


   }

   /// <summary>
   /// Requests the html source of a given web page, using the request credentials given.
   /// </summary>
   /// <param name="username"></param>
   /// <param name="password"></param>
   /// <param name="webPageLink"></param>
   /// <returns></returns>
   public static String requestSource(String username,String password,String webPageLink){
       String source = "";

           HttpWebRequest request = (HttpWebRequest)WebRequest.Create(webPageLink);


       if (username != null && password != null)
       {
           request.Headers["Cookie"] = getCookie(username, password);


           request.UserAgent = "Mozilla/5.0 (Windows NT 6.0; rv:6.0.2) Gecko/20100101 Firefox/6.0.2";

           request.Credentials = new NetworkCredential(username, password);
       }
       StreamReader sr;

       using (HttpWebResponse wr = (HttpWebResponse)request.GetResponse())
       {
           sr = new StreamReader(wr.GetResponseStream());
           source = sr.ReadToEnd();
       }



       return source;
   }

Answer 1

您是否尝试查看 HttpWebRequest 的 AllowWriteStreamBuffering 属性？您也可以尝试将所有 Fiddler 的标头附加到您的请求中，以尽可能接近 Fiddler。

Answer 2

是否可能是您的抓取工具正在被检测到并关闭，而 Fiddler 会减慢它的速度，使其不会被检测到？ http://google-scraper.squabbel.com/