用DataStax散装装载机v1.8向Cassandra表导出Cassandra表，抱怨连接池耗尽

发布于 2025-02-05 11:31:52 字数 329 浏览 1 评论 0原文

我使用这些设置运行：

dsbulk unload -k keyspace -t table
  --connector.csv.delimiter "^"
  --engine.maxConcurrentQueries=4
  --connector.csv.url
  ...

应用程序抱怨连接池耗尽 - ＆gt;应用程序可以超时与Cassandra的连接。

Cassandra版本2.13
Cassandra功能：3个节点-64 CPU/124GB RAM上的每个节点上。

在设置DSBULK上解释？

原文

I run it with these settings:

dsbulk unload -k keyspace -t table
  --connector.csv.delimiter "^"
  --engine.maxConcurrentQueries=4
  --connector.csv.url
  ...

application complains about connection pool exhaustion --> application gets timeouts on connections to cassandra.

cassandra version 2.13
cassandra features: 3 nodes - 64 cpu/124Gb ram on each node.

explain on settings dsbulk?

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

仅冇旳回忆 2025-02-12 11:31:52

听起来您的群集已被超载，无法处理Unload操作。

您将需要油门dsbulk降低请求量。以下是一些选项，您可以用作起点来限制群集的负载：

    --driver.advanced.continuous-paging.page-size 1000
    --driver.advanced.continuous-paging.max-pages 10
    --engine.maxConcurrentQueries 5
    --executor.maxPerSecond 5
    --executor.maxInFlight 5

有关这些选项的详细信息，请参见：

nofollow noreferrer”这些设置，卸载操作要完成需要更长的时间，但它至少将最大程度地减少删除群集的风险。干杯!

It sounds like your cluster is getting overloaded and cannot handle the unload operation.

You will need to throttle DSBulk to lower the amount of requests. Here are some options you can use as starting points to limit the load on your cluster:

    --driver.advanced.continuous-paging.page-size 1000
    --driver.advanced.continuous-paging.max-pages 10
    --engine.maxConcurrentQueries 5
    --executor.maxPerSecond 5
    --executor.maxInFlight 5

For details on these options, see:

With these settings, it will take a little longer for the unload operation to complete but it will at least minimise the risk of taking down your cluster. Cheers!

回复收藏 0 原文

~没有更多了~