大学课程网站的网络抓取/解析

发布于 2024-08-15 07:11:56 字数 330 浏览 3 评论 0原文

尝试解析/抓取孟菲斯的课程网站。该网站是“https://spectrumssb2.memphis.edu/pls/PROD/bwckgens。 p_proc_term_date”。这似乎是某种 JavaScript 问题,或者是文本的动态生成问题。我可以使用 livehttpdheaders/Firefox 看到底层 DOM 结构,但当我只是查看页面的底层源/文本时却看不到。

想法/评论/指针将不胜感激...

Trying to parse/scrape the course site for memphis. The site is "https://spectrumssb2.memphis.edu/pls/PROD/bwckgens.p_proc_term_date". It appears to be some sort of javascript issue, or dynamic generation of the text. I can see the underlying DOM structure using livehttpdheaders/Firefox, but not when I simply view the underlying source/text of the page..

Thoughts/Comments/Pointers would be appreciated...

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

揪着可爱 2024-08-22 07:11:56

如今,该网站可以通过几个步骤来组装。首先拉入主要结构,然后通常根据用户的身份执行其他 AJAX 调用。最好的办法是嗅探 HTTP 以查看站点最初请求和完全构建时发出的请求类型

由于您使用的是 firebug,因此您可以获得 HttpFox 插件 为您提供所需的内容

Well this modern days the site may be assembled in few steps. First the main structure is pulled in and then, often based on identity of the user additional AJAX calls are executed. Your best bet is to sniff HTTP to see what kind of requests are issued between the site is initially requested and when it's fully built

Since you are using firebug you can get HttpFox add-on which gives you what you need

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文