HDFS

HDFS

文章 118 浏览 209

内网搭的HDFS, 配置信息无误,报错ConnectError的异常

为什么总是报requests.exceptions.ConnectionError: [Errno -5] No address associated with hostname 的错误呢?…

高冷爸爸 2022-09-04 13:55:01 14 0

内网上搭的HDFS,外网client连不上datanode?

我在内网搭的HDFS,client从外网访问namenode成功,但是接着就访问不到datanode了。是因为namenode返回的是datanode的内网ip吗?在哪里可以配置?…

已下线请稍等 2022-09-04 13:40:59 13 0

从线上实时下载海量文件到HDFS有哪些方案?

最近公司想把上千台服务器上生成在一个文件夹下的日志文件(5分钟生成一个)实时下载到3台HDFS上,但是文件量大,HDFS带宽有限,网路上需要压缩。是否…

残花月 2022-09-04 11:40:49 28 0

如何快速进行HDFS源码修改与调试?

我需要修改HDFS源码。目前我是在Eclipse远程调试伪分布式的方式学习HDFS相关源码。但是,如果要修改源码,就必须先停止集群,然后把编译后的jar包重…

梦毁影碎の 2022-09-04 05:30:24 14 0

如何把Spark的数据导出到Greenplum?

数据放在Spark集群的HDFS上,如何把Spark计算的结果导入到GP里面?计算后的结果存放到GP上,业务用户白天就查询GP,这样是不是速度可以更快一点。…

慕巷 2022-09-04 05:21:07 21 0

刚接触hadoop,关于完全分布式环境下数据处理的问题。

是这样的,在hadoop完全分布式环境下,有一个主节点和两个从节点,我想处理一个很大的数据文件,因为我们有两个从节点,可以通过mapreduce编写程序把…

离线来电— 2022-09-04 04:12:43 23 0

hadoop的hdfs挂了

我往hadoop的hdfs快速写大量数据,hdfs会挂,请问是什么原因。…

盗梦空间 2022-09-04 02:45:39 13 0

Fluentd 写日志到 HDFS

当前已经实现LogServer收集日志信息并调用Fluentd写入HDFS由于使用Presto对HDFS中的数据进行分析, 因此使用Hive创建元数据库对HDFS中的数据进行管理…

夏有森光若流苏 2022-09-03 19:51:40 20 0

Sqoop从本地MySQL导入到Hive为什么要求Sqoop一定要在HDFS中

问题来源是这样,我使用sqoop向Hive中导入mysql的表 sqoop import --connect jdbc:mysql://127.0.0.1:3306/employees_db --table titles --username …

遇到 2022-09-03 13:02:12 27 0

HDFS读取excel内容出现乱码

1.使用poi生成excel,上传hdfs2.当有需要的时候,去下载该文件3.下载文件是通过rest接口4.接口中通过hdfs api读取hdfs上的excel文件内容,并转成字符…

不再见 2022-09-03 12:34:16 15 0

hdfs的append追加问题

问一下hdfs的append追加操作,每次追加一定要关闭fds流吗? 我不关闭会报错:areadybeingcreatedexception …

五里雾 2022-09-03 09:42:21 12 0

使用HDFS的时候,能不能直接设置每个datanode可用的空间大小,比如100G、200G?

我知道有一个配置项,dfs.datanode.du.reserved,可以设置预留给非dfs数据的空间,但能不能直接去设置dfs能使用的最大空间?…

心安伴我暖 2022-09-03 09:12:04 13 0

hdfs如何远程访问?

hdfs如何远程访问?…

ι不睡觉的鱼゛ 2022-09-03 08:33:04 14 0

现在用的多的分布式文件系统有哪些?

最近找了一下, 最后感觉都只是用fastdfs . 还有其它的比较好的吗? 还有就是看到有用HDFS的, 这种在网站上存图片,文档什么的合适吗? …

╰沐子 2022-09-03 00:58:45 35 0
更多

推荐作者

1CH1MKgiKxn9p

文章 0 评论 0

ゞ记忆︶ㄣ

文章 0 评论 0

JackDx

文章 0 评论 0

信远

文章 0 评论 0

yaoduoduo1995

文章 0 评论 0

霞映澄塘

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文