使用屏幕抓取时出现页面发布问题

Question

我正在进行屏幕抓取并在 3 个网站中成功完成，我在最后一个网站中遇到问题

，这是我的网址，当我使用参数时，它会在下一页上显示结果，只需发布​​到其他页面并显示结果即可在其他页面上

这是我的测试

但是，当我从我的应用程序，因为在这里我没有发布选项，它只获取请求页面的 html，这显然是我上面提到的 HTML 测试链接，实际上 URL 中有参数来获取结果。

我该如何处理这种情况？ 请给我提示。

谢谢

，这是我的 C# 代码，我正在使用 HTMLAgality

String url;
HtmlWeb hw = new HtmlWeb();
HtmlDocument doc;
url = "http://mysampleURL";
doc = hw.Load(url);

Answer 1

使用 WebClient 类发布带有预期输入值的第一页的表单。输入值可以在第一页的源代码中找到，但也可以使用 Fiddler 捕获它们，恕我直言，Fiddler 对于这些场景来说是一个很好的工具。

例子：

NameValueCollection values = new NameValueCollection();
values.Add("action","hotelPackageWizard@searchHotelOnly");
values.Add("packageType","HOTEL_ONLY");
// etc..
WebClient webclient = new WebClient();
webclient.Headers.Add("Content-Type","application/x-www-form-urlencoded");
byte[] responseArray = webclient.UploadValues("http://www.expedia.com/Hotels?rfrr=-905&","POST", values);
string response = System.Text.Encoding.ASCII.GetString(responseArray);

Answer 2

如果资源需要 POST，那么您必须提交 POST。

这是一个相当简单的任务。以下是 Rick Strahl 的博客 中的示例。该代码有点简单，但可以使用，并且可以让您朝着正确的方向前进

string lcUrl = "http://www.west-wind.com/testpage.wwd";
HttpWebRequest loHttp =
   (HttpWebRequest) WebRequest.Create(lcUrl);

// *** Send any POST data
string lcPostData =
   "Name=" + HttpUtility.UrlEncode("Rick Strahl") +
   "&Company=" + HttpUtility.UrlEncode("West Wind ");

loHttp.Method="POST";
byte [] lbPostBuffer = System.Text.           
                       Encoding.GetEncoding(1252).GetBytes(lcPostData);
loHttp.ContentLength = lbPostBuffer.Length;

Stream loPostData = loHttp.GetRequestStream();
loPostData.Write(lbPostBuffer,0,lbPostBuffer.Length);
loPostData.Close();

HttpWebResponse loWebResponse = (HttpWebResponse) loHttp.GetResponse();

Encoding enc = System.Text.Encoding.GetEncoding(1252);

StreamReader loResponseStream =
   new StreamReader(loWebResponse.GetResponseStream(),enc);

string lcHtml = loResponseStream.ReadToEnd();

loWebResponse.Close();
loResponseStream.Close();

Answer 3

对于涉及发布表单（例如登录、维护 cookie、处理 XSRF 令牌）的屏幕抓取任务，一种解决方案是使用 CURL。但这并不容易。

然后我探索了 Selenium，我喜欢它。有两件事 - 1）安装 Selenium IDE（仅适用于 Firefox）。 2) 安装 Selenium RC 服务器

启动 Selenium IDE 后，转到您尝试自动化的站点并开始记录您在该站点上执行的事件。将其视为在浏览器中录制宏。然后，您将获得所需语言的代码输出。

正如您所知，Browsermob 使用 Selenium 进行负载测试和在浏览器上自动执行任务。

我上传了一份我前段时间做的ppt。这应该可以节省您大量的时间 - http://www.4shared.com/get /tlwT3qb_/SeleniumInstructions.html

在上面的链接中选择常规下载选项。

我花了很多时间来弄清楚它，所以认为这可能会节省别人的时间。