内网搭的HDFS, 配置信息无误,报错ConnectError的异常
为什么总是报requests.exceptions.ConnectionError: [Errno -5] No address associated with hostname 的错误呢?…
内网上搭的HDFS,外网client连不上datanode?
我在内网搭的HDFS,client从外网访问namenode成功,但是接着就访问不到datanode了。是因为namenode返回的是datanode的内网ip吗?在哪里可以配置?…
如何把Spark的数据导出到Greenplum?
数据放在Spark集群的HDFS上,如何把Spark计算的结果导入到GP里面?计算后的结果存放到GP上,业务用户白天就查询GP,这样是不是速度可以更快一点。…
刚接触hadoop,关于完全分布式环境下数据处理的问题。
是这样的,在hadoop完全分布式环境下,有一个主节点和两个从节点,我想处理一个很大的数据文件,因为我们有两个从节点,可以通过mapreduce编写程序把…
Fluentd 写日志到 HDFS
当前已经实现LogServer收集日志信息并调用Fluentd写入HDFS由于使用Presto对HDFS中的数据进行分析, 因此使用Hive创建元数据库对HDFS中的数据进行管理…
Sqoop从本地MySQL导入到Hive为什么要求Sqoop一定要在HDFS中
问题来源是这样,我使用sqoop向Hive中导入mysql的表 sqoop import --connect jdbc:mysql://127.0.0.1:3306/employees_db --table titles --username …
HDFS读取excel内容出现乱码
1.使用poi生成excel,上传hdfs2.当有需要的时候,去下载该文件3.下载文件是通过rest接口4.接口中通过hdfs api读取hdfs上的excel文件内容,并转成字符…
使用HDFS的时候,能不能直接设置每个datanode可用的空间大小,比如100G、200G?
我知道有一个配置项,dfs.datanode.du.reserved,可以设置预留给非dfs数据的空间,但能不能直接去设置dfs能使用的最大空间?…