pyspark脚本中的HDFS命令
我正在编写一个简单的Pyspark脚本，将HDFS文件和文件夹从一个位置复制到另一个位置。 但是我找不到一种使用Pyspark复制文件夹和文件的方法
可用，
hadoop = sc._jvm.org.apache.hadoop
Path = hadoop.fs.Path
FileSystem = hadoop.fs.FileSystem
conf = hadoop.conf.Configuration()
fs = FileSystem.get(conf)
source = hadoop.fs.Path('/user/xxx/data')
destination = hadoop.fs.Path('/user/xxx/data1')
if (fs.exists(Path('/user/xxx/data'))):
for f in fs.listStatus(Path('/user/xxx/data')):
print('File path', str(f.getPath()))
**** how to use copy command here ?
我已经浏览了许多文档和答案在线
I am writing a simple pyspark script to copy hdfs files and folders from one location to another. I have gone through many docs and answers available online but i could not find a way to copy folders and files using pyspark or to execute hdfs commands using pyspark(particularly copy folders and files)
Below is my code
hadoop = sc._jvm.org.apache.hadoop
Path = hadoop.fs.Path
FileSystem = hadoop.fs.FileSystem
conf = hadoop.conf.Configuration()
fs = FileSystem.get(conf)
source = hadoop.fs.Path('/user/xxx/data')
destination = hadoop.fs.Path('/user/xxx/data1')
if (fs.exists(Path('/user/xxx/data'))):
for f in fs.listStatus(Path('/user/xxx/data')):
print('File path', str(f.getPath()))
**** how to use copy command here ?
Thanks in advance
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
为并使用其复制方法，而不是hdfs脚本命令
如何使用Java API 如何移动或复制HDFS
最好只使用
distcp而不是Spark，否则，您将运行，您将运行如果您尝试与多个执行者一起运行该代码，请进入比赛条件Create a new Java object for the FileUtil class and use its copy methods, not hdfs script commands
How to move or copy file in HDFS by using JAVA API
It might be better to just use
distcprather than Spark, though, otherwise, you'll run into race conditions if you try to run that code with multiple executors