从我的桌面连接到 Cloudera VM

Question

我在 Windows 7 笔记本电脑上下载了 Cloudera VM 来试用。我 我正在尝试连接到虚拟机中运行的 Hadoop 实例 视窗。我执行了 ifconfig 并获取了虚拟机的 IP 地址。我可以 从运行的 Firefox 连接到虚拟机中运行的 Web 界面 在我的 Windows 盒子上，所以我知道我至少可以连接到它。

接下来，我尝试从 Java 连接到 Hadoop。

public class FileSystemWriter
{

static
        {
                URL.setURLStreamHandlerFactory( new FsUrlStreamHandlerFactory() );
        }

        public static void main( String[] args ) throws Exception
        {
                String uri = "hdfs://192.168.171.128/user";
                Configuration conf = new Configuration();

                System.out.println( "uri: " + uri );

                FileSystem fs = FileSystem.get( URI.create( uri ), conf );
       }

} 

但我收到错误。

uri：hdfs://192.168.171.128/user

Aug 9, 2011 8:29:26 AM org.apache.hadoop.ipc.Client$Connection
handleConnectionFailure
INFO: Retrying connect to server: /192.168.171.128:8020. Already tried
0 time(s).
Aug 9, 2011 8:29:28 AM org.apache.hadoop.ipc.Client$Connection
handleConnectionFailure
INFO: Retrying connect to server: /192.168.171.128:8020. Already tried
1 time(s).
Aug 9, 2011 8:29:30 AM org.apache.hadoop.ipc.Client$Connection
handleConnectionFailure
INFO: Retrying connect to server: /192.168.171.128:8020. Already tried
2 time(s).

有人可以帮助我吗？

Answer 1

首先，尝试通过 hftp 连接。

        uri = "hftp://172.16.xxx.xxx:50070/";

        System.out.println( "uri: " + uri );           
        Configuration conf = new Configuration();

        FileSystem fs = FileSystem.get( URI.create( uri ), conf );
        fs.printStatistics();

如果您看到某些东西（无一例外），那么您就已连接。

如果你不这样做，那么你的问题不是 HDFS，而是你的问题是你的 ip 错误，或者 hadoop 没有运行，或者你的端口被阻止......等等......

Answer 2

1. 确保您的Namenode正在侦听端口8020。您可以使用以下命令进行检查：

   hadoop fs -ls hdfs://namenode(ip):8020
   

2. 如果此检查失败，请输入 vim HADOOP_HOME/conf/core-site.xml 并在 fs.default.name 的此项中查看您的 namenode 端口。

3. 更改你的java代码：

   String uri = "hdfs://192.168.171.128:portOfNameNode/user";