在 Linux 服务器上保存完整网页的最佳方法是什么？

Question

我需要在我的 Linux 服务器上归档完整的页面，包括任何链接的图像等。寻找最佳解决方案。有没有办法保存所有资产，然后重新链接它们以在同一目录中工作？

我考虑过使用curl，但我不确定如何做到这一切。另外，我可能需要 PHP-DOM 吗？

有没有办法在服务器上使用 Firefox 并在加载地址后复制临时文件或类似的方法？

欢迎任何和所有的意见。

编辑：

似乎 wget “无法”工作，因为需要渲染文件。我在服务器上安装了 Firefox，有没有办法在 Firefox 中加载 url，然后抓取临时文件并在之后清除临时文件？

Answer 1

wget -r http://yoursite.com

应该足够并抓取图像/媒体。您可以给它提供多种选择。

注意：我相信 wget 或任何其他程序都支持下载通过 CSS 指定的图像 - 因此您可能需要自己手动执行此操作。

这里可能是一些有用的参数： http://www.linuxjournal.com/内容/下载整个网站-wget

Answer 2

使用以下命令：

wget -E -k -p http://yoursite.com

使用-E调整扩展名。使用 -k 转换链接以从存储加载页面。使用 -p 下载页面内的所有对象。

请注意，此命令不会下载指定页面中超链接的其他页面。这意味着该命令仅下载正确加载指定页面所需的对象。

Answer 3

wget 可以做到这一点，例如：

wget -r http://example.com/

这将镜像整个 example.com 站点。

一些有趣的选项是：

-Dexample.com：不要关注其他域的链接
--html-extension：将 text/html 内容类型的页面重命名为 .html

手册：http://www.gnu.org/software/wget/manual/

Answer 4

在 Linux 服务器上保存完整网页的最佳方法是什么？

我尝试了几个工具 curl、wget ，但没有任何效果达到我的预期。

最后，我找到了一个保存完整网页的工具（图像、脚本、链接样式表......一切都包括在内）。它是用 Rust 编写的，名为 monolith。 看看。

它将图像和其他脚本/样式表打包在 1 个 html 文件中。

示例

我可以将网页 https://nodejs.org/en/docs/es6 保存到本地文件 es6.html，使用以下命令将所有页面必需项打包在一个文件中：

monolith https://nodejs.org/en/docs/es6 -o es6.html

Answer 5

如果网页中的所有内容都是静态的，您可以使用 之类的内容来解决此问题wget：

$ wget -r -l 10 -p http://my.web.page.com/

或其一些变体。

由于您还拥有动态页面，因此通常无法使用 wget 或任何简单的 HTTP 客户端来归档此类网页。正确的存档需要包含后端数据库和任何服务器端脚本的内容。这意味着正确执行此操作的唯一方法是复制支持服务器端文件。这至少包括 HTTP 服务器文档根和任何数据库文件。

编辑：

作为解决方法，您可以修改网页，以便具有适当权限的用户可以下载所有服务器端文件，以及支持数据库的文本模式转储（例如 SQL 转储）。您应该极其小心，避免通过此归档系统打开任何安全漏洞。

如果您使用虚拟主机提供商，他们中的大多数都会提供某种允许备份整个站点的 Web 界面。如果您使用实际的服务器，则可以安装大量备份解决方案，包括一些用于托管站点的基于 Web 的解决方案。