hive数据 批量插入hbase,如果指定版本timestamp

发布于 2021-12-02 17:44:07 字数 525 浏览 814 评论 1

1.hbase 更新是根据rowKey 和 timestamp 进行跟新

2.我需要将hive 里面的数据插入到hbase 里面,但是hive 的数据可能有rowkey 相同,但是字段version 不同的情况。比如

     order_id   version

      123            2

      123            1

而我跟新到hbase 里面去,实际上只需要  123   2 这一条数据。同样的情况还发生在MQ 往hbase  更新的情景。put 方法我知道可以指定版本,进行更新操作。还是hive 批量插入的时候无法进行更新操作。

或者有什么办法 我hive批量插入的时候,所有版本号默认成1, 不要当前时间的时间戳

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

各自安好 2021-12-03 21:57:54

回答自己的,记录一下。

hbase1.0 有这个接口,确定自己的版本

public Put(byte[] row, long ts) { this(row, 0, row.length, ts);
}

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文