需要安装哪种模式的hadoop和HDFS？

Question

我是 hadoop 和 HDFS 的初学者，现在我需要连接 3 台不同的具有文件的 PC，NIFI 和 Hadop+HDFS。 机器 1：将有一个 .csv 文件 机器 2（个人笔记本电脑）：将运行我的 NIFI。 机器 3（在我的办公室运行）：其中将包含 Hadoop+HDFS。

现在我想使用机器 2 上运行的 nifi 将 csv 文件从机器 1 发送到机器 3 上运行的数据库。

我使用 ssh 连接连接到机器 3，这基本上是我办公室的路由器。

问题：如何从具有 nifi 的机器 2 连接到机器 3，该机器可以将文件发送到我的 hadoop hbase。 我应该使用公钥作为配置还是应该使用不同的设置或服务器？

我的haddo和hdfs的文件配置如下

hbase-site.xml

<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
 <property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9000/hbase</value>
</property>

<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/hadoop/zookeeper</value>
  </property>
</configuration>
<property>
<name>hbase.wal.provider</name>
<value>filesystem</value>
</property>
 <property>
<name>hbase.tmp.dir</name>
<value>./tmp</value>
</property>
</configuration>

核心站点.xml

<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hdoop/tmpdata</value>
</property>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>

hdfs-site.xml

<configuration>


<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.dir</name>
<value>file:///home/hadoop/hdfs/namenode</value>
</property>
<property>
<name>dfs.data.dir</name>
 <value>file:///home/hadoop/hdfs/datanode</value>
</property>
</configuration>

查看配置文件，让我知道我需要在哪里更改属性，并且到目前为止我已经在机器 3 中安装了伪分布式模式 HDFS。

Answer 1

伪分布式和完全分布式没有什么不同。

你说只有机器3有HDFS。因此，它只需要运行名称节点和数据节点，以分布式方式设置，这意味着外部客户端将能够与其通信。

更具体地说，配置文件不应使用 localhost，而应使用 LAN IP 或主机名