nutch在EMR中用于原始数据的持续存储的最佳选择

Question

我必须在EMR AWS服务上使用Nutch 1.x爬到30k至50k域。它将是逐渐的，即首先爬行所有页面，后来仅用于这些网站的新页面或更新的页面。 对于索引，我正在使用Apache Solr。 我认为对EMR的最佳实践有很少的疑问

1. 如果我必须重新索引或分析旧的爬行数据， ，我认为原始数据应存储在S3上。是正确的选择吗？
2. 将S3配置为我的第一个问题的HDFS后端存储更好，或者我应该在EMR作业结束时复制文件夹。
3. 在任何一种情况下，要优化S3中的原始数据存储，如何在/到从S3导入或导出EMR群集时如何压缩数据。
4. 我如何指示纽约只抓取给定种子的新页面

Answer 1

1. Nutch能够直接从S3读/写，请参见使用s3-as-nutch--存储系统。
2. 将片段和crawldb直接写入S3是有道理的。但是，也可以将其保留在HDF上，然后将其复制（DISTCP）到S3。
3. 参见 mapreduce.output.fileoutputformat.compress.codec - org.apache.hadoop.io.compress.zstandardcodec是一个不错的选择。
4. （最好再次单独问）爬行的域是否都提供 sitemaps ？否则，挑战是许多新的URL，重新提交为不太可能的页面。如果您想要所有新页面，或确保将所有删除的页面都识别为这样，那么重新启动所有内容就更容易。