设置 Hadoop 时遇到问题

发布于 2024-10-21 20:00:32 字数 787 浏览 1 评论 0原文

我遇到的问题是，当我运行 bin/hadoop fs -ls 时，它会打印出我所在的本地目录的所有文件，而不是 hdfs 中的文件（当前应该是没有任何）。我的设置方法如下：

我已下载所有 0.20.2 文件并将其解压缩到 /home/micah/hadoop-install/ 中。我使用以下设置编辑了 conf/hdfs-site.xml 并创建了适当的目录：

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>localhost:9000</value>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>/home/micah/hdfs/data</value>
  </property>
  <property>
    <name>dfs.name.dir</name>
    <value>/home/micah/hdfs/name</value>
  </property>
</configuration>

然后运行 bin/hadoop namenode -format ，然后运行 bin/start-dfs.sh。

原文

The issue I'm having is that when I run bin/hadoop fs -ls it prints out all the files of the local directory that I'm in and not the files in hdfs (which currently should be none). Here's how I set everything up:

I've downloaded and unzipped all the 0.20.2 files into /home/micah/hadoop-install/. I've edited my conf/hdfs-site.xml with the following settings and created the appropriate directories:

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>localhost:9000</value>
  </property>
  <property>
    <name>dfs.data.dir</name>
    <value>/home/micah/hdfs/data</value>
  </property>
  <property>
    <name>dfs.name.dir</name>
    <value>/home/micah/hdfs/name</value>
  </property>
</configuration>

I then ran bin/hadoop namenode -format followed by bin/start-dfs.sh.

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

美人骨 2024-10-28 20:00:32

试试这个：

    #http://www.mail-archive.com/[email protected]/msg00407.html
    rm -r /tmp/hadoop****
    build $HADOOP_HOME
    echo export JAVA_HOME=$JAVA_HOME >> $HADOOP_HOME/conf/hadoop-env.sh
    echoThenRun "$HADOOP_HOME/bin/stop-all.sh"
    echoThenRun "$HADOOP_HOME/bin/hadoop namenode -format"

Try this:

    #http://www.mail-archive.com/[email protected]/msg00407.html
    rm -r /tmp/hadoop****
    build $HADOOP_HOME
    echo export JAVA_HOME=$JAVA_HOME >> $HADOOP_HOME/conf/hadoop-env.sh
    echoThenRun "$HADOOP_HOME/bin/stop-all.sh"
    echoThenRun "$HADOOP_HOME/bin/hadoop namenode -format"

回复收藏 0 原文

眼藏柔 2024-10-28 20:00:32

我遇到了类似的问题，发现我的 HDFS 数据目录权限错误。

使用 chmod -R gw 从数据目录中删除组写入权限修复了该问题。

回复收藏 0 原文

亢潮 2024-10-28 20:00:32

谢谢，执行以下操作解决了我的问题

rm -r /tmp/hadoop****
    build $HADOOP_HOME
    echo export JAVA_HOME=$JAVA_HOME >> $HADOOP_HOME/conf/hadoop-env.sh
    echoThenRun "$HADOOP_HOME/bin/stop-all.sh"
    echoThenRun "$HADOOP_HOME/bin/hadoop namenode -format"

Thanks , Doing the following resolved my issue

rm -r /tmp/hadoop****
    build $HADOOP_HOME
    echo export JAVA_HOME=$JAVA_HOME >> $HADOOP_HOME/conf/hadoop-env.sh
    echoThenRun "$HADOOP_HOME/bin/stop-all.sh"
    echoThenRun "$HADOOP_HOME/bin/hadoop namenode -format"

回复收藏 0 原文

~没有更多了~