抓取需要使用 Mechanize 启用 Javascript 的网站美丽汤 (Python)
所以..我得到了这个网站，我正在尝试抓取，但据我了解缺乏支持 .js 的机械化，以及需要支持 JavaScript 的浏览器的顽固网站是 不是一个很好的组合...
我正在寻找关于如何做到这一点的想法...
So.. i got this site I am tryign to scrape, but as I understand lack of support of
mechanize for .js, and a stuborn site that requires javascript enabled browser is
not a good mix...
I am looking for ideas, on how to do this...
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
根据您需要执行的操作，您可以使用 webkit 解析页面，这将允许您在执行 javascript 后获得最终的 html。然后你可以使用任何像样的 html 解析器（例如 beautifulsoup）来完成剩下的工作。
Depending on what you need to do, you could use webkit to parse the page, which will allow you to get the final html after the javascript has been executed. You could then use any decent html parser, beautifulsoup for example, to do the rest.
对于 JavaScript，我使用 Chickenfoot 来构建简单的网站，并使用 Webkit 更复杂。
With JavaScript I use Chickenfoot for simple websites and Webkit for more complex.