当前位置：文江博客话题详情

Hadoop复制一个目录？

发布于 2024-10-12 14:35:41 字数 68 浏览 4 评论 0原文

是否有HDFS API可以将整个本地目录复制到HDFS？我找到了一个用于复制文件的 API，但是有用于目录的 API 吗？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

听风吹 2024-10-19 14:35:41

使用 Hadoop FS shell。具体来说：

$ hadoop fs -copyFromLocal /path/to/local hdfs:///path/to/hdfs

如果您想以编程方式执行此操作，请创建两个文件系统（一个本地文件系统和一个 HDFS）并使用 FileUtil 类

Use the Hadoop FS shell. Specifically:

$ hadoop fs -copyFromLocal /path/to/local hdfs:///path/to/hdfs

If you want to do it programmatically, create two FileSystems (one Local and one HDFS) and use the FileUtil class

回复收藏 0 原文

素衣风尘叹 2024-10-19 14:35:41

我尝试使用 It 给我一个错误，说 Target is a directory 从目录中复制

/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/ /export/hadoop1/lopez/Join/TPCDSkew

。然后我将其修改为

/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/*.* /export/hadoop1/lopez/Join/TPCDSkew

有效。

I tried copying from the directory using

/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/ /export/hadoop1/lopez/Join/TPCDSkew

It gave me an error saying Target is a directory . I then modified it to

/hadoop/core/bin/hadoop fs -copyFromLocal /home/grad04/lopez/TPCDSkew/*.* /export/hadoop1/lopez/Join/TPCDSkew

it works .

回复收藏 0 原文

孤独难免 2024-10-19 14:35:41

在 Hadoop 版本中：（

Hadoop 2.4.0.2.1.1.0-390

可能稍后；我只测试了这个特定版本，因为它是我拥有的版本）

您可以使用 copyFromLocal 递归复制整个目录，无需任何特殊符号，例如：

hadoop fs -copyFromLocal /path/on/disk /path/on/hdfs

即使在/path/on/disk 是包含子目录和文件的目录。

In Hadoop version:

Hadoop 2.4.0.2.1.1.0-390

(And probably later; I have only tested this specific version as it is the one I have)

You can copy entire directories recursively without any special notation using copyFromLocal e.g.,:

hadoop fs -copyFromLocal /path/on/disk /path/on/hdfs

which works even when /path/on/disk is a directory containing subdirectories and files.

回复收藏 0 原文

过潦 2024-10-19 14:35:41

您还可以使用 put 命令：

$ hadoop fs -put /local/path hdfs:/path

You can also use the put command:

$ hadoop fs -put /local/path hdfs:/path

回复收藏 0 原文

迷爱 2024-10-19 14:35:41

对于程序员来说，你也可以使用copyFromLocalFile。这是一个例子：

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.Path

val hdfsConfig = new Configuration
val hdfsURI = "hdfs://127.0.0.1:9000/hdfsData"
val hdfs = FileSystem.get(new URI(hdfsURI), hdfsConfig)

val oriPath = new Path("#your_localpath/customer.csv")
val targetFile = new Path("hdfs://your_hdfspath/customer.csv")
hdfs.copyFromLocalFile(oriPath, targetFile)

For programmer, you also can use copyFromLocalFile. Here is an example:

import org.apache.hadoop.conf.Configuration
import org.apache.hadoop.fs.FileSystem
import org.apache.hadoop.fs.Path

val hdfsConfig = new Configuration
val hdfsURI = "hdfs://127.0.0.1:9000/hdfsData"
val hdfs = FileSystem.get(new URI(hdfsURI), hdfsConfig)

val oriPath = new Path("#your_localpath/customer.csv")
val targetFile = new Path("hdfs://your_hdfspath/customer.csv")
hdfs.copyFromLocalFile(oriPath, targetFile)

回复收藏 0 原文

~没有更多了~