使用redis时有什么办法可以写入到hbase中

发布于 2024-12-09 19:06:38 字数 103 浏览 0 评论 0原文

据我所知,redis 只能在二进制文件中进行后写操作。但我们的软件要求是使用任何兼容的分布式映射(redis)写入到 hbase。在使用 redis 时,有什么方法可以写入到 hbase 中。

As far as i know redis only write-behind in a binary file. but our software requirement is to write behind to hbase using any compatible distributed maps(redis).Is there any way while using redis we could write behind to hbase.

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

旧夏天 2024-12-16 19:06:38

无法自定义文件写入的方式。它将写入磁盘,对此您无能为力。

相反,您应该做的是有一个外部计划进程(也许使用 cron)定期获取 Redis 文件,然后将其转储到 HBase 中。

如果适合您的情况和需求,您可以通过几种方法自定义此过程以使其更加健壮:

  • 执行 BGSAVE在开始摄取过程之前,请确保您拥有最新的转储。
  • 在将文件引入 HBase 之前,对其执行 md5sum 操作。检查 md5sum 自上次处理以来是否发生了变化。如果 Redis 实例中的数据不经常更改,这可能很有用。
  • 请改用仅附加文件转储。这样,您就可以跟踪已摄取到 HBase 中的内容,然后仅更新更改。您只需要记住上次留下的行即可。如果您不想每次都转储 HBase 表并重新加载它,这会很好。

There is no way to customize the way that the file writes. It is going to write to disk and there isn't much you can do about that.

What you should do instead is have an external scheduled process (using cron, perhaps) that periodically takes the Redis file and then dumps it into HBase.

Few ways you can customize this process to be more robust, if it fits your situation and needs:

  • Execute a BGSAVE before starting the ingest process to be sure you have an up-to-date dump.
  • do an md5sum on the file before ingesting it into HBase. Check to see that the md5sum has changed since the last time you've processed it. This might be useful if the data in your Redis instance isn't changing very often.
  • Use an append only file dump instead. This way, you can keep track of what you have ingested into HBase already, and then only update to the changes. You'll just have to keep track of what line you left off at last time. This would be good if you don't want to dump your HBase table every time and reload it.
~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文