hadoop fs -put 和 hadoop fs -copyFromLocal 之间的区别

Question

-put 和 -copyFromLocal 被记录为相同的，而大多数示例使用详细变体 -copyFromLocal。为什么？

-get 和 -copyToLocal 也是如此

Answer 1

最新

-copyFromLocal 和 -put 命令之间没有区别。

参考：Hadoop 的文档。

---

早期

-copyFromLocal 与 -put 命令类似，不同之处在于源限制为本地文件引用。

所以基本上，您可以使用 put 执行所有与 -copyFromLocal 相同的操作，但反之则不然。

同样，

-copyToLocal 与 get 命令类似，只不过目标限制为本地文件引用。

因此，您可以使用 get 代替 -copyToLocal，但反之则不行。

Answer 2

我们举个例子：
如果您的 HDFS 包含路径：/tmp/dir/abc.txt
如果您的本地磁盘也包含此路径，那么 hdfs API 将不知道您指的是哪一个，除非您指定类似 file:// 或 hdfs:// 的方案>。也许它选择了您不想复制的路径。

因此，您可以使用 -copyFromLocal 通过限制您提供给本地文件系统的参数来防止您意外复制错误的文件。

Put 适用于更高级的用户，他们知道将哪个方案放在前面。

对于 Hadoop 新用户来说，他们当前所在的文件系统以及文件实际所在的位置总是有点令人困惑。

Answer 3

尽管文档声称，截至目前（2015 年 10 月），-copyFromLocal 和 -put 是相同的。

从在线帮助：

[cloudera@quickstart ~]$ hdfs dfs -help copyFromLocal 
-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst> :
  Identical to the -put command.

这得到了 查看来源，您可以在其中可以看到 CopyFromLocal 类扩展了 Put 类，但没有添加任何新行为：

  public static class CopyFromLocal extends Put {
    public static final String NAME = "copyFromLocal";
    public static final String USAGE = Put.USAGE;
    public static final String DESCRIPTION = "Identical to the -put command.";
  }

  public static class CopyToLocal extends Get {
    public static final String NAME = "copyToLocal";
    public static final String USAGE = Get.USAGE;
    public static final String DESCRIPTION = "Identical to the -get command.";
  }

您可能会注意到，这与 get/copyToLocal 完全相同。

Answer 4

• 两者都是相同的，除了
• -copyFromLocal 仅限于从本地复制，而 -put 可以从任何（其他 HDFS/本地文件系统/..）获取文件

Answer 5

他们是一样的。这可以通过在命令行上打印 hdfs （或 hadoop）的使用情况来看到：

$ hadoop fs -help
# Usage: hadoop fs [generic options]
# [ . . . ]
# -copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst> :
#   Identical to the -put command.

# -copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst> :
#   Identical to the -get command.

与 hdfs （hadoop 命令特定于HDFS 文件系统）：

$ hdfs dfs -help
# [ . . . ]
# -copyFromLocal [-f] [-p] [-l] [-d] [-t <thread count>] <localsrc> ... <dst> :
#   Identical to the -put command.

# -copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst> :
#   Identical to the -get command.

Answer 6

-put 和-copyFromLocal 命令的工作原理完全相同。您无法使用 -put 命令将文件从一个 HDFS 目录复制到另一个目录。让我们看一个例子：假设您的根目录有两个目录，名为“test1”和“test2”。如果“test1”包含文件“customer.txt”，并且您尝试将其复制到 test2 目录，

$ hadoop fs -put /test1/customer.txt /test2

则自“put”以来将导致“没有此类文件或目录” 错误将在本地文件系统而不是 hdfs 中查找该文件。
它们都只是将文件（或目录）从本地文件系统复制到 HDFS。