Hadoop HDFS - 无法连接到主服务器上的端口
我已经设置了一个小型 Hadoop 集群进行测试。 NameNode（1 台机器）、SecondaryNameNode（1）和所有 DataNode（3）的安装过程相当顺利。这些机器被命…
Hadoop：如何访问（许多）照片图像以进行map/reduce处理？
我在本地文件系统上保存了超过 1000 万张照片。现在我想遍历每一个来分析照片的二进制，看看它是否是一只狗。我主要想在集群hadoop环境上进行分析。问…
hadoop dfs -copyFromLocal src dest
我的问题是为什么我们需要指定一个目标。我放入hdfs的文件不一定完全位于本地机器上，那么在命令中指定dest有什么用呢？ 当我通过命令 lie 运行命令，…
HIVE/HDFS 用于大规模实时存储传感器数据？
我正在评估具有以下要求的传感器数据收集系统， 100 万个端点每分钟发送 100 字节的数据（作为时间序列）。 基本上对存储进行了数百万次小写入。 此数…
“java/lang/NoClassDefFoundError: java/lang/Object”什么时候运行JNI程序
我对安装抄写员和安装感到非常痛苦。 HDFS。值得赞赏的是，我解决了大部分问题。然而，我被困在这里了。 我安装 libhdfs ，然后编写一个“Hello world…
在 CPython 中一次处理 hdfs 文件中的数据的最佳方法（不使用 stdin）？
我想在 hadoop 流作业中使用 CPython，该作业需要从保存在 hadoop 文件系统中的面向行的文件访问补充信息。我所说的“补充”是指该文件是对通过标准输…
Chukwa 和 Chukwa 哪个更好？隶？
我正在使用 Hadoop ，但为了记录我需要一些东西。 但我不知道 Scribe 和 Chukwa 之间哪个登录系统更好。 你们能告诉我吗？ 如果有任何易于与 Hadoop …
索引 7 处的权限非法字符：hdfs://localhost:9000 与 hadoop
我正在尝试连接到 hdfs。 Configuration configuration = new Configuration(); configuration.set("fs.default.name", this.hdfsHost); fs = FileSys…
关于Hadoop secondarynamenode概念
根据文档 (http://hadoop.apache.org/common/docs/r0.20.203.0/hdfs_user_guide.html) secondarynamenode 在 hadoop0.20.203.0 版本中已弃用，并由 ch…
在不同的hadoop节点上添加不同的文件
当我们添加文件时 bin/hadoop dfs -put input_folder 输入 通过该命令输入到 HDFS 中。 当我们添加文件时，它们会被复制到所有节点。 有什么方法可以…
如何从 DFS 中删除 hadoop 节点而不是从 Mapred 中删除？
我对 hadoop 还很陌生。为了运行一些基准测试，我需要各种 hadoop 配置进行比较。 我想知道一种从 DFS 中删除 hadoop 从站（不再运行 datanode 守护进…
Hadoop fs 查找块大小？
在 Hadoop fs 中如何查找特定文件的块大小？ 我主要对命令行感兴趣，例如： hadoop fs ... hdfs://fs1.data/... 但它看起来不存在。有Java解决方案吗…
