如何使用机器2中的nifi将csv文件从机器1发送到机器3？

Question

我的场景有 3 台机器 机器 1：有一个 .csv 文件 机器2：Nifi已安装并运行 机器 3：HDFS 和 Hbase 已安装并正在运行。

现在我必须使用在机器 2 中运行的 nifi 将 .csv 文件从机器 1 发送到在机器 3 中运行的 Hbase 表。

要从机器 1 获取文件，我使用 GetSFTP 处理器，并且可以在 nifi 之前获取 .csv 文件在机器 2 中运行。现在我不知道要使用哪个处理器才能将文件发送到在机器 3 中运行的 hbase 表？我已经使用了 PutHbaserecord，但是如果我的 habse 和 hdfs 在机器 2 中运行，这只是帮助我存储在 habse 表中。

那么有人可以让我知道如何使用 nifi 发送到机器 3 吗？

hbase-site.xml

<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
 <property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>

<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zookeeper</value>
  </property>
</configuration>
<property>
<name>hbase.wal.provider</name>
<value>filesystem</value>
</property>
 <property>
<name>hbase.tmp.dir</name>
<value>./tmp</value>
</property>
</configuration>

核心站点.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hdoop/tmpdata</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

hdfs-site.xml

<configuration>


<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
 <value>file:///home/hadoop/hdfs/datanode</value>
</property>
</configuration>

Answer 1

我已经使用了 PutHbaserecord，但这只是帮助我在 hbase 表中存储（如果我的 hbase 和 hdfs 在机器 2 上运行）

我认为这不是真的。根据文档，您需要提供 HBase 客户端服务

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi/nifi-hbase-nar/1.6.0/org.apache.nifi.hbase.PutHBaseRecord/

在此服务中，您提供 Hadoop 配置文件（hbase-site.xml），其中包含远程 HBase 集群（通过 Zookeeper）的 IP:端口信息，该信息不会是 localhost ；如果给出 Nifi（或 Zookeeper 返回）localhost，那么是的，它会认为 HBase 正在 Nifi 节点上运行。

你应该只需要在 xml 中设置这些来连接到分布式 hbase 集群

• hbase.zookeeper.quorum
• hbase.zookeeper.property.clientPort

顺便说一句，hbase 有自己的用于导入 CSV 文件的 CLI 命令，而 Nifi 对于上传数据的简单任务