Hadoop ftpfilesystem未能列出文件并抛出SockettimeoutException

Question

我正在使用apache hadoop ftpfilesystem 版本3.2.0列出并从FTP服务器读取文件。

这是我的测试代码：

public static void main(String[] args) throws IOException {
    String host = "some-host";
    int port = 21;
    Configuration conf = new Configuration(false);
    conf.set("fs.ftp.host", host);
    conf.setInt("fs.ftp.host.port", port);
    conf.set("fs.ftp.user." + host, "username");
    conf.set("fs.ftp.password." + host, "password");
    conf.set("fs.ftp.data.connection.mode", "PASSIVE_LOCAL_DATA_CONNECTION_MODE");
    conf.set("fs.ftp.impl", "org.apache.hadoop.fs.ftp.FTPFileSystem");
    
    String fsURL = String.format("ftp://%s:%s", host, String.valueOf(port));
    conf.set("fs.default.name", fsURL);
    FileSystem fs =  FileSystem.newInstance(conf);
    Path somePath = new Path("actual/path");
    fs.getFileStatus(somePath).isDirectory(); // returns true
    fs.listStatus(somePath); // keeps spinning then throws SocketTimeOutException
}

在调试僵局或在此方法上发生延迟发生后org.apache.commons.net.ftp.ftp.ftp.ftpclient.initiatiatelistelistparsing（ftpfileentryparser，string） > Engine.ReadServerList（socket.getInputStream（），getControlenCoding（））;如下：

private FTPListParseEngine initiateListParsing(
        FTPFileEntryParser parser, String pathname)
throws IOException
{
    Socket socket = _openDataConnection_(FTPCmd.LIST, getListArguments(pathname));

    FTPListParseEngine engine = new FTPListParseEngine(parser, __configuration);
    if (socket == null)
    {
        return engine;
    }

    try {
        engine.readServerList(socket.getInputStream(), getControlEncoding());
    }
    finally {
        Util.closeQuietly(socket);
    }

    completePendingCommand();
    return engine;
}

方法调用一直被阻止，直到最终抛出SockettimeOutException，甚至使用具有相同凭证和属性的Filezilla，均匀列出了我可以列出的＆amp＆amp＆amp;在更快的时间内平稳读取文件。

我正在使用的凭据，并且属性是正确的，作为初始连接和fs.getFilestatus（somePath）.isdirectory（）;呼叫工作起作用并返回正确的值。

我是否可以添加一个属性来使事情更快，或者是Apache Hadoop ftpfilesystem版本3.2.0中的错误？

Answer 1

您可能需要将传输和/或连接模式更改为以下一个

conf.set("fs.ftp.transfer.mode", "COMPRESSED_TRANSFER_MODE");
// OR
conf.set("fs.ftp.transfer.mode", "STREAM_TRANSFER_MODE");

// AND

conf.set("fs.ftp.data.connection.mode", "PASSIVE_LOCAL_DATA_CONNECTION_MODE");
// OR
conf.set("fs.ftp.data.connection.mode", "PASSIVE_REMOTE_DATA_CONNECTION_MODE");