您好，Hive大数据导入Hbase，二进制数据类型如何导入
@王二铁 你好，想跟你请教个问题：
现在使用Hive生成HFile的方式导入Hbase，
数据类型为Int，Long等数据无法转成相应的Bytes存入Hbase，存到Hbase的数据为String
请问有什么方式可以导入，数据量有3000w左右使用逐条导入效率太慢。
生成HFile的语句如下。
create table child_hfile_tmp1(CHIL_CODE bigint, CHIL_NAME string,CHIL_BIRTHDAY bigint) stored as INPUTFORMAT 'org.apache.hadoop.mapred.TextInputForma' OUTPUTFORMAT 'org.apache.hadoop.hive.hbase.HiveHFileOutputFormat' TBLPROPERTIES ('hfile.family.path' = '/tmp/hbase_table_hfile/info');
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（2）
"数据类型为Int，Long等数据无法转成相应的Bytes存入Hbase，存到Hbase的数据为String" 这句话不赞同
KeyValue kv = new KeyValue(row, cf.getBytes(), Bytes.toBytes(columnName), timestamp, Bytes.toBytes(columnValue));
这样就可以了，columnValue是什么类型，写入就是什么类型的
效果：
column=f:type, timestamp=1508801818, value=2
一个简便方法，把数据装入多个List里面，再把lsit转成json字符串，存入；取的时候把字符串转化成List对象反解析出来，hbase的威力要把rowKey设计好才能发挥，好好想想怎么设计rowKey