HDFS

HDFS

文章 118 浏览 209

重新启动hadoop失败 webapps/hdfs not found in CLASSPATH

最近需要在16节点配置hbase 环境:hadoop2.6+zookeeper3.4.6+hbase0.98.9 ubuntu12.04 server 64bit jdk 1.8.0_11 hadoop 配置的1个namenode和15个da…

祁梦 2022-09-01 07:36:26 21 0

hdfs 的 web页面

请问hdfs有没有图形界面,据说在浏览器下可查看?…

同尘 2022-08-25 00:30:33 10 0

Apache Ignite 具体的场景有哪些,有分享吗?

1.如果数据量在1T-1000他之间 2.SQL 查询比较复杂,比如 5-10个表的join 3.插入更新 频率 1w/s&nbsp (总和,比如1:1) 4.复杂查询频率不高,但是扫描…

酒几许 2022-01-05 00:44:41 852 0

spark 的rdd 和 hdfs的广播 的联系和应用,有人了解吗?

spark 的rdd 和 hdfs的广播 的联系和应用,有人了解吗?…

顾忌 2022-01-02 01:17:38 889 0

datanode变动本地block存储路径后出现以下问题

2017-11-16 17:31:44,693 INFO org.apache.hadoop.hdfs.server.balancer.Balancer: Need to move 17.96 TB to make the cluster balanced. 2017-11-16…

檐上三寸雪 2021-12-08 21:52:25 711 0

针对hadoop中的数据如何打标签,实现思路?

需要针对 存储的数据根据规则打上标签、想的是&nbspspark streaming 监控&nbsphdfs 文件变动,看能不能获取到所需的数据,感觉不行啊。。求助!!!,是…

混吃等死 2021-12-08 12:01:03 864 0

为解决小文件的存储问题,HDFS上是否能够通过Federation方式解决?

感觉通过Federation方式能够解决小文件问题,将一个block size设置的小一点专门存储不用实时访问的小文件…

风苍溪 2021-12-06 02:46:52 861 0

用Sqoop,hdfs导入都mysql时候执行MR时候报错了

sqoop export --connect jdbc:mysql://crxy2:3306/test --username root --password 19911130 --table info --export-dir sqoop_export Warning: /so…

网名女生简单气质 2021-12-04 14:24:45 897 0

用java读取hdfs的.lzo_deflate文件报错

linux环境没有问题,hadoop环境、配置也没有问题,并且通过hdoop fs -text 指令能正常打开该压缩文件。但是用java读取就报错了,请大神帮忙看看,谢…

居里长安 2021-12-03 16:04:33 703 0

ZKFC启动不起来,报错Unable to start failover controller. Unable to connect to ZooKeeper quorum at node1:2181,node2:2181,node3:2181.

执行命令./start-dfs.sh或者./hdfs zkfc -formatZK,会报出下边的错误日志: 16/06/27 13:41:11 INFO zookeeper.ZooKeeper: Initiating client connec…

酒几许 2021-12-03 15:30:08 851 0

Spark读取HA模式HDFS Caused by: java.net.UnknownHostException: masters

Spark版本:1.6.1 Hadoop版本:2.6.2 HDFS模式为:HA(正常使用,没有任何问题) &ltproperty&gt &ltname&gtfs.defaultFS&lt/name&gt &ltvalue&gthdfs:…

残花月 2021-12-03 12:28:55 707 0

hadoop扫描日志文件dncp_block_verification.log.prev可以删除吗?

初接手一个hadoop项目的维护,发现20T的datanode已经只有 不到1T的剩余空间了,找了下,发现 目录 /data/hdfs/dfsdata/current/BP-2130229945-10.123…

水水月牙 2021-12-03 04:12:05 683 0

用SparkSQL 能否实现对HDFS数据的修改?

HDFS不支持对数据的修改,能删除和追加,但是能否通过SparkSQL 实现对HDFS上数据的修改呢??…

倚栏听风 2021-12-03 01:22:52 884 0

关于hdfs-site.xml配置的问题求解,希望能够看一下,谢谢。

为什么我在HDFS服务器端也就是HDFS集群上配置的hdfs-site.xml的dfs.blocksize的大小不起作用,而在HDFS客户端配置的起作用?那么这样子的话集群上的配…

妖妓 2021-12-03 00:44:18 860 0
更多

推荐作者

留蓝

文章 0 评论 0

18790681156

文章 0 评论 0

zach7772

文章 0 评论 0

Wini

文章 0 评论 0

ayeshaaroy

文章 0 评论 0

初雪

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文