HBase java.lang.OutOfMemoryError

Question

我在使用 Hbase 时遇到以下问题。

我有一个脚本，它启动 HBase shell 并将多行插入到具有单列的表中。我尝试插入 10,000 行，但在大约 1,700 行之后，我收到可怕的“java.lang.OutOfMemoryError：无法创建新的本机线程”错误。我尝试将 Java 堆大小从默认的 1000mb 更改为 1800mb，但这不允许我插入超过 1700 行左右的行。

但是，我注意到我可以插入 1000 行，退出 shell，重新启动 shell，在同一个表中再插入 1000 行，再次退出，等等。我对 JVM 的了解还不够，无法弄清楚为什么它允许我在多个会话中执行此操作，但不允许我在同一会话中批量插入。

有人可以向我解释一下这里发生了什么以及我可以采取什么措施吗？

编辑：

我现在使用 64 位机器，red hat linux 5，带有 Java 1.6。我给 HBase 的堆大小为 20GB（我总共有大约 32 GB 内存）。 对于堆栈大小，我给出 8mb。我相信 64 位的默认值是 2mb；使用 2mb 时，我遇到了同样的错误，将其增加到 8mb 根本没有帮助（无论堆栈大小如何，我只能插入相同数量的行，~1700）。

我读过，减少堆大小可以使这个错误消失，但这也没有帮助。下面是我设置的 jvm 选项（除了堆栈大小之外，一切都是默认的）。

HBASE_OPTS="$HBASE_OPTS -ea -Xss8M -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:+CMSIncrementalMode"

Answer 1

我昨天遇到了这个错误。在我的例子中发生的情况是，我创建了很多 HTable 实例，当我在记录上使用 put 时，它们创建了太多线程。 （我使用映射器并在 map 函数内创建它）

我会检查是否创建了很多与 HBase 的连接（在循环或 map 内） > 函数。如果发生这种情况，则将其移动到实例化更少的 HBase 连接（我使用 HTable）可能会解决问题。
它解决了我的问题。

华泰

Answer 2

当我使用 HTablePool 实例获取 HTableInterface 实例时遇到此错误，但在使用后我忘记调用 close()方法就可以了。

Answer 3

我也遇到了同样的问题，正如上面 kosii 所解释的，根本原因是在使用后没有关闭从 HTablePool 获取的 HTableInterface 实例。

HTableInterface table = tablePool.getTable(tableName);
// Do the work
....
....
table.close()