如何将动态站点变成可以从 CD 演示的静态站点？

Question

我需要找到一种方法来抓取我们公司的一个 Web 应用程序，并从中创建一个静态站点，该站点可以刻录到 CD 上，供旅行销售人员用来演示该网站。 后端数据存储分布在许多系统中，因此仅在销售人员笔记本电脑上的虚拟机上运行该网站是行不通的。 而且他们在某些客户那里无法访问互联网（没有互联网，手机......原始，我知道）。

有没有人对可以处理链接清理、flash、一点ajax、css等的爬虫有什么好的建议？ 我知道可能性很小，但我想在开始编写自己的工具之前我应该​​先把这个问题提出来。

Answer 1

只是因为没有人复制粘贴工作命令......我正在尝试......十年后。 :D

wget --mirror --convert-links --adjust-extension --page-requisites \
--no-parent http://example.org

这对我来说就像一种魅力。

Answer 2

通过使用 WebCrawler，例如其中之一：

• DataparkSearch 是在 GNU 下发布的爬虫和搜索引擎通用公共许可证。
• GNU Wget 是一个用 C 语言编写并在 GPL 下发布的命令行操作的爬虫。 它通常用于镜像 Web 和 FTP 站点。
• HTTrack 使用网络爬虫创建网站镜像以供离线查看。 它是用 C 语言编写的，并在 GPL 下发布。
• ICDL Crawler 是一个用 C++ 编写的跨平台网络爬虫，旨在仅使用计算机的空闲 CPU 资源来爬取基于网站解析模板的网站。
• JSpider 是一个高度可配置和可定制的网络蜘蛛引擎，在 GPL 下发布。
• Larbin，作者：Sebastien Ailleret
• Webtools4larbin，作者：Andreas Beder
• Methabot 是一个速度优化的网络爬虫和命令行实用程序，用 C 语言编写，并根据 2 条款 BSD 许可证发布。 它具有广泛的配置系统、模块系统，并支持通过本地文件系统、HTTP 或 FTP 进行有针对性的爬行。
• Jaeksoft WebSearch 是基于 Apache Lucene 构建的网络爬虫和索引器。 它是根据 GPL v3 许可证发布的。
• Nutch 是一个用 Java 编写的爬虫程序，并在 Apache 许可证下发布。 它可以与 Lucene 文本索引包结合使用。
• Pavuk 是一个命令行网络镜像工具，带有可选的 X11 GUI 爬虫，并在 GPL 下发布。 与 wget 和 httrack 相比，它具有许多高级功能，例如。 基于正则表达式的过滤和文件创建规则。
• WebVac 是斯坦福 WebBase 项目使用的爬虫。
• WebSPHINX（Miller 和 Bharat，1998）由实现多线程网页检索和 HTML 解析的 Java 类库以及用于设置起始 URL、提取下载数据并实现基本文本的图形用户界面组成。基于搜索引擎。
• WIRE - Web 信息检索环境 [15] 是一个用 C++ 编写并在 GPL 下发布的网络爬虫，包括用于调度页面下载的多个策略以及用于生成下载页面的报告和统计数据的模块，因此它已用于 Web 表征。
• LWP::RobotUA（Langheinrich，2004）是一个 Perl 类，用于实现在 Perl 5 许可证下分发的表现良好的并行网络机器人。
• Web Crawler .NET 的开源网络爬虫类（用 C# 编写）。
• Sherlock Holmes Sherlock Holmes 在本地和网络上收集文本数据（文本文件、网页等）并为其编制索引。 Holmes 由捷克门户网站 Centrum 赞助并用于商业用途。 Onet.pl 也使用它。
• YaCy，一个免费的分布式搜索引擎，基于点对点网络原理构建（根据 GPL 许可）。
• Ruya Ruya 是一个开源、高性能、广度优先、基于级别的网络爬虫。 它用于以良好的方式抓取英语和日语网站。 它是在 GPL 下发布的，并且完全用 Python 语言编写。 SingleDomainDelayCrawler 实现遵循 robots.txt 并具有抓取延迟。
• 通用信息爬虫 快速开发的网络爬虫。 抓取 保存并分析数据。
• Agent Kernel 一个 Java 框架，用于爬行时的调度、线程和存储管理。
• Spider News，有关在 Perl 中构建 Spider 的信息。
• Arachnode.NET 是一个开源混杂网络爬虫，用于下载、索引和存储 Internet 内容，包括电子邮件地址、文件、超链接、图像和网页。 Arachnode.net 使用 SQL Server 2005 用 C# 编写，并在 GPL 下发布。
• dine 是一个多线程 Java HTTP 客户端/爬虫，可以使用 LGPL 下发布的 JavaScript 进行编程。
• Crawljax 是一个 Ajax 爬虫，它基于动态构建“状态流图”的方法，对 Ajax 应用程序中的各种导航路径和状态进行建模。 Crawljax 是用 Java 编写的，并在 BSD 许可证下发布。

Answer 3

如果不将网络服务器刻录到 CD，您将无法处理 AJAX 请求之类的事情，我知道您已经说过这是不可能的。

wget 将为您下载该网站（使用 -r 参数表示“递归”），但是任何动态内容（例如报告等）当然都无法正常工作，您只会获得一个快照。

Answer 4

wget 或curl 都可以递归地跟踪链接并镜像整个站点，因此这可能是一个不错的选择。 不过，您将无法使用网站的真正交互式部分，例如搜索引擎或任何修改数据的内容。

是否有可能创建可以从销售人员的笔记本电脑上运行且应用程序可以与之交互的虚拟后端服务？

Answer 5

如果您最终不得不从网络服务器上运行它，您可能需要查看：

ServerToGo

它允许您从 CD 运行 WAMPP 堆栈，并提供 mysql/php/apache 支持。 数据库在启动时被复制到当前用户的临时目录，并且可以完全运行，而无需用户安装任何东西！