HBase 批量加载会产生大量减速器任务 - 任何解决方法

Question

HBase 批量加载（使用 configureIncrementalLoad 帮助程序方法）将作业配置为创建与 hbase 表中的区域一样多的减速器任务。因此，如果有几百个区域，那么该作业将产生几百个减速器任务。在小型集群上这可能会变得非常慢。

是否可以通过使用 MultipleOutputFormat 或其他方法来解决问题？

谢谢

Answer 1

1. 按区域对缩减进行分片会给您带来很多长期利益。一旦导入的数据在线，您就可以获得数据局部性。您还可以确定某个区域何时已负载平衡到另一台服务器。我不会这么快就进入更粗的粒度。
2. 由于reduce阶段是单个文件写入，因此您应该能够设置NumReduceTasks（硬盘驱动器数量）。这可能会加快速度。

3. 很容易出现网络瓶颈。确保您正在压缩 HFile 和您的中间 MR 数据。

    job.getConfiguration().setBoolean("mapred.compress.map.output", true);
     job.getConfiguration().setClass("mapred.map.output.compression.codec",
         org.apache.hadoop.io.compress.GzipCodec.class,
         org.apache.hadoop.io.compress.CompressionCodec.class);
     job.getConfiguration().set("hfile.compression",
         Compression.Algorithm.LZO.getName());
   

4. 您的数据导入大小可能足够小，您应该考虑使用基于 Put 的格式。这将调用普通的HTable.Put API并跳过reducer阶段。请参阅 TableMapReduceUtil.initTableReducerJob(table, null, job)。

Answer 2

当我们使用 HFileOutputFormat 时，它会覆盖您设置的减速器数量。
减速器的数量等于该 HBase 表中的区域数量。
因此，如果您想控制减速器的数量，请减少区域的数量。

您将找到示例代码 这里：

希望这会有用:)