如何存储整个网页以供以后解析？

Question

我最近做了很多网页解析，我的过程通常如下所示：

1. 获取要解析的链接列表 将
2. 列表导入数据库
3. 下载每个链接的整个网页并存储到 mysql
4. 为每个抓取会话添加索引
5. 抓取相关部分（内容，元数据，等等）
6. 步骤 4,5 - 冲洗/重复 - 因为想要刮擦差异是很常见的。稍后来自同一页面的内容或修改您的 xpath 或擦除所述内容或其他内容。
7. 将抓取数据库导出到真实数据库并删除网页列和抓取索引

现在，最简单的答案当然是在下载网页的同时进行抓取，但我认为这不太适合模块化设计，因为我希望能够进一步发展这个过程。

让我举一些我经常遇到的问题的例子： 对于 50k 页（行），我有大约 6gig 的数据库。请记住，我们将整个网页存储到一列中，并从中提取相关数据并将其存储到另一列中。

在具有 6 GB 内存的四核处理器上，将一个索引放到表上可能需要 7-10 分钟。上帝禁止你搞砸一些事情，然后看着 mysqld 的 cpu 和所有的 ram 跳到 70%。这就是为什么我有第 4 步——我所做的每个操作都会在执行之前在列上添加一个索引——所以如果我想获取元数据，我会在标题列上添加一个索引，然后更新每个操作标题不为空的行。

我应该声明，我不会一次性完成所有行——这往往会让我很糟糕——因为它应该是——你正在将 6gig 加载到内存中。 ;)

我认为这个问题的解决方案是——获取总计数，然后一次迭代 100 左右的偏移量。

不过，我认为这里也存在一些存储问题。我应该将原始网页存储在文件系统上吗？我考虑过将页面存储到面向文档的数据库中，例如 mongo 或 couch。

编辑 这里要明确一点——提出的任何解决方案都应该考虑到 50k 页面只是一个用户的一批这一事实。我还没有尝试拥有多个用户，但我希望能够一次存储多个批次。

Answer 1

为什么不在插入数据之前将索引添加到表中？这样，当行添加到表中时，就会构建索引。

Answer 2

如果您有更多硬件来解决问题，您可以使用 分片。

我还建议您考虑从您正在捕获的网页中删除无用的信息（例如页面结构标签、JavaScript、样式等），并在适当的情况下压缩结果。

Answer 3

您可以使用现有的网络爬虫，例如wget 或许多其他之一。这可以将文件下载到硬盘，然后您可以解析文件并将有关它们的信息存储在数据库中。

Answer 4

谢谢大家帮我想这个！

我将在这里尝试一种混合方法：

1）将页面下拉到文件系统上的树结构。

2) 将内容放入不包含任何完整网页的通用内容表中（这意味着我们的平均 63k 列现在可能是 k 的 1/10。

详细信息

1）我的树结构容纳网页将如下所示：

-- usr_id1k
|   |-- user1
|   |   |-- job1
|   |   |   |-- pg_id1k
|   |   |   |   |-- p1
|   |   |   |   |-- p2
|   |   |   |   `-- p3
|   |   |   |-- pg_id2k
|   |   |   `-- pg_id3k
|   |   |-- job2
|   |   `-- job3
|   |-- user2
|   `-- user3
|-- usr_id2k
`-- usr_id3k

2）不是为每个“作业”创建一个表然后将其导出，我们将有几个不同的表 - 第一个是“内容”表。

content_type, Integer # fkey to content_types table
user_id, Integer # fkey to users table
content, Text # actual content, no full webpages

....其他东西，如created_at、updated_at、perms等...