深网爬虫调用 ASP.NET 页面
简介
我正在开发一个网络爬虫,我需要获得 ASP.NET
表单的返回。 我知道尝试这一点很困难,但是我的爬虫可以获得 PHP 表单或类似语言的返回。我正在使用 HtmlAgilityPack
并使用 POST 参数进行调用。效果很好。
问题
当我需要爬虫 ASP.NET 表单时,我的问题就开始了,其中包含大量隐藏字段和其他信息(例如 __VIEWSTATE 或 __EVENTARGUMENT
)用于 ASP.NET 内核。
问题
如何让我的抓取工具发送 POST 调用并使用数据库过滤器接收正确的返回结果?有人有这方面的信息吗?有人尝试过类似的事情吗?
谢谢大家。 我正在等待一个好的答复。
Introduction
I'm developing a web-crawler and I need get the return of ASP.NET
forms.
I know about the difficult to try that, but my crawler can get the return of PHP forms or languages like that. I'm using HtmlAgilityPack
and call with POST parameters. That works fine.
Problem
My problem starts when I need crawler ASP.NET Forms, with a lot of hiddens fields and other the information (like __VIEWSTATE or __EVENTARGUMENT
) for ASP.NET Kernel.
Question
How Can I put for my crawler send a POST call and receive the correct return with the data base filters? Somebody have information about that? Somebody tried something like that?
Thank's everybody.
I'm waiting for a good response.
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论