在HDF和S3之间传输文件的有效方法

Question

我正在寻找在S3和HDF之间传输文件的有效方法。在我的项目中，Ozzie作业正在启用它处理文件创建TMP文件，然后进入关键部分，在其中，该作业必须获得Zookeeper锁定，然后执行一些操作。获得锁后执行的操作之一是将文件从HDFS移至S3。由于Zookeeper锁定的位置，由于超时，我们很少有工作无法获得Zookeeper锁。为了确保由于超时问题而没有失败的工作，我正在尝试提高文件传输的效率。我也无法消除Zookeeper锁。我正在使用CranscessMutex锁。

我尝试了几种方法。

方法1：我尝试使用以下更改使用Apache DistCP API，该项目不会在Maven错误中构建。

final String[] args = new String[4];
          args[0] = "-overwrite";
           args[1] = "-pb";
            args[2] = source.toString();
            args[3] = destination.toString();
            LOGGER.info("Copying contents");
            DistCp distCp = null;
            try {
                DistCpOptions distCpOptions = new DistCpOptions.Builder(source, destination)
                       .withSyncFolder(true)
                        .withCRC(true)
                        .withOverwrite(true)
                       .build();
                distCp = new DistCp(configuration, distCpOptions);
            } catch (final Exception e) {
                throw new IOException("An Exception occured while creating a distCp object", e);
            }
           LOGGER.info("Copying contents of source path {} to destination path {} ", source, destination);
           final int distCopyExitCode = distCp.run(args);

错误：为了纠正此错误，我看到了一个建议添加了GUAVA-11.0.2 MAVEN依赖性，该依赖性无法解决问题。关于如何解决此问题有任何想法吗？

java.lang.NoClassDefFoundError: org/apache/hadoop/thirdparty/com/google/common/base/Preconditions
at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
at org.apache.hadoop.tools.DistCpOptions$Builder.<init>(DistCpOptions.java:530)

方法2：
 我遇到了AWS S3DISTCP工具，该工具在HDFS和S3之间传输文件，但是我没有找到S3DistCP Java API。使用S3DISTCP的一种方法是通过在EMR群集中创建步骤来来自EMR。 （）。

在我的情况下，我有一个EMR步骤，实际上可以从作业开始，作业将处理输入文件，然后将文件从HDFS移动到S3，然后终止。

如果我使用上面链接中提供的解决方案，则下面的步骤将是动作的顺序。

1. Ozzie Job启动
2. 作业过程输入文件并在HDFS中创建TMP文件，
3. 获得Zookeeper锁定
4. 创建EMR步骤，以使用S3DISTCP
5. 传输文件从HDFS到S3
6. EMR步骤完成
7. 触发文件传输，

如果我使用此方法，请完成工作 - 有多个并行作业 - 有多个并行作业被踢了起来，对于每项工作，都会创建一个新的EMR步骤。如果我弄错了，请纠正我。任何人都可以提供有关如何解决此问题的建议。

Answer 1

java.lang.NoClassDefFoundError: org/apache/hadoop/thirdparty/com/google/common/base/Preconditions

这显示出缺失的Hadoop-tirdparty依赖性。添加此问题应解决此错误，

      <dependency>
        <groupId>org.apache.hadoop.thirdparty</groupId>
        <artifactId>hadoop-shaded-guava</artifactId>
        <version>${hadoop-thirdparty-guava.version}</version>
     </dependency>

您可以根据此依赖项的Hadoop版本选择相应的版本，最新版本是Hadoop版本3.3.3的1.1.1