使用 importtsv 把 CSV 格式的数据导入到 HBase

Question

首先，利用 Ambari 部署 Hbase，并在过程中启用了 Phoenix。hbase 安装在了 u1403 节点。

然后，由于集群启用了 kerberos，需要用 hbase 的主体登录。用 klist 命令从 keytab 文件查看一下可用主体。在 u1403 上执行：

$ klist -kt /etc/security/keytabs/hbase.headless.keytab
Keytab name: FILE:/etc/security/keytabs/hbase.headless.keytab
KVNO Timestamp           Principal
---- ------------------- ------------------------------------------------------
   1 09/08/2017 06:05:07 hbase-hdp1@AMBARI.APACHE.ORG

hdp1 是 ambari 集群的名字，实际主体的名称需要替换成你自己的集群名字。

用 hdp1 主体登录 kerberos，然后利用 hbase shell 建表。如果不登录 kerberos，建表会报错。用 keytab 文件登录不需要密码。

$ kinit -kt /etc/security/keytabs/hbase.headless.keytab hbase-hdp1            
$ hbase shell
hbase(main):001:0> create 'sensor','temp','vibration','pressure'    (创建表)
hbase(main):002:0> exit                                             (退出hbase shell)

创建一个文本文件 hbase.csv，包含以下内容：

id, temp:in,temp:out,vibration,pressure:in,pressure:out
5842,  50,     30,       4,      240,         340

把该文件上传到 HDFS 中：

$ hdfs dfs -copyFromLocal hbase.csv /tmp

执行 Loadtsv 语句

$ hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=,  -Dimporttsv.columns="HBASE_ROW_KEY,id,temp:in,temp:out,vibration,pressure:in,pressure:out" sensor hdfs://u1401.ambari.apache.org:/tmp/hbase.csv