有没有可以下载整个网站的网络爬虫?
需要知道是否有一个爬虫/下载器可以爬行和下载整个网站,链接深度至少为4页。我尝试下载的网站具有仅由浏览器呈现的java脚本超链接,因此爬虫无法爬行这些超链接,除非爬虫本身呈现它们!
Need to know if there is a crawler/downloader that can crawl and download and entire website with at least a link depth of 4 pages. The site I am trying to download has java script hyperlinks that are rendered only by a browser and thus the crawler is unable crawl these hyperlinks unless the crawler itself renders them!!!
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
我用过 Teleport Pro,效果很好
Ive used Teleport Pro and it works well
Metaproducts Offline Explorer 能够满足您的需求。
Metaproducts Offline Explorer boasts doing what you need.