抓取动态内容

发布于 2024-09-08 19:03:27 字数 142 浏览 5 评论 0原文

我正在从事一个网络抓取项目。有人知道抓取动态内容吗?

基于查询字符串的动态内容与静态内容类似,但基于同一页面内控件的某些事件的动态内容是我陷入困境的点。因为在这种情况下页面 url 保持不变。

我正在使用 C#。

提前致谢

I am working on a web scraping project. do any body have idea of scraping dynamic content.

Dynamic content on base of query string is similar to static content but dynamic content based on some event of a control within same page is the point where i am stuck. because in this case page url remain same.

I am using C#.

Thanks in advance

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

不语却知心 2024-09-15 19:03:27

你的问题比较笼统。

我不确定控件事件是什么意思,但只要浏览器生成 http 请求,您就可以使用 Firebug(适用于 Firefox 或 Google Chrome 中内置的工具),查看实际发送到服务器的内容。所谓的 AJAX 请求无非是标准的 http 请求,只是网页不会作为一个整体重新加载。

基于该信息和页面源,可以弄清楚如何创建一系列请求来模拟用户与页面上的动态元素的交互。

Your question is rather general.

I'm not sure what you mean by event of a control, but as long as a browser generates http request you can catch it using tools like Firebug for Firefox or tools built in Google Chrome and see what is actually being sent to the server. So called AJAX requests are nothing else than standard http requests, it's just that web page is not reloaded as a whole.

Based on that information and page source it is possible to figure out how to create range of reguests that would simulate user interaction with dynamic elements on the page.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文