检查站点中是否有我的站点文件

Question

有没有一个程序可以抓取指定的网站，如果有其他网站的引用就会吐出来？我有图像、视频文件、pdf 等。我需要将其交给另一位开发人员来完成到他们新服务器的移植。

我刚刚将旧网站转移给另一个人，他们仍在使用我的文件。我不知道所有文件都是 100%，我想确定我需要向他们提供哪些文件。如果有像 linkchecker 这样可以爬行的东西就好了，如果有对网站根目录（例如 sub.domain.com）的引用，那么它会吐出有关它的信息（哪个页面，网址是什么）。

我现在不想阻止该网站使用这些文件，所以就不再这样做了。

我使用的是 Mac，所以任何终端程序都可以。

Answer 1

您可以尝试 Sitesucker，它可用于下载网站上使用的所有文件（以及任何链接取决于设置）。它是 OSX（和 iPhone）捐赠软件，因此可能正是您正在寻找的东西。我相信它会创建一个下载文件的日志文件，因此如果您只想将 URL 而不是实际文件发送给您的同事，您可以发送该日志文件。

Answer 2

您可以查看wget。它可以递归地（-r 选项）下载网站并将其内容保存到您的硬盘上。它通常（即如果没有另外指定）将所有内容下载到类似于主机的目录中。

但请注意不要递归下载整个互联网；）因此请务必指定正确的 --domains 或 --exclude-domains 选项。