Hadoop HDFS 最大文件大小
我的一位同事认为 HDFS 没有最大文件大小，即通过分区为 128 / 256 meg 块，可以存储任何大小的文件（显然 HDFS 磁盘有一个大小，并且会受到限制，但…
如何存储 /*url* 的实际名称？
我正在将脚本转换为 HDFS (Hadoop)，并且我有这个 cmd： tail -n+$indexedPlus1 $seedsDir/*url* | head -n$it_size > $it_seedsDir/urls 使用 HDFS…
如何解决 Hadoop 文件系统安装错误？
我正在尝试在非 Cloudera Ubuntu 测试映像上安装 Hadoop。一切似乎都很顺利，直到我运行 ./bin/start-all.sh。名称节点永远不会出现，因此我什至无法…
HDFS 表示文件仍然打开，但写入该文件的进程已被终止
我是 hadoop 的新手，过去几个小时我一直在尝试用 google 搜索这个问题，但我找不到任何有帮助的东西。我的问题是 HDFS 说该文件仍然打开，即使写入该…
导入hadoop/pig中日志的多级目录
我们将日志存储在 S3 中，我们的 (Pig) 查询之一将获取三种不同的日志类型。每个日志类型都位于基于类型/日期的子目录集中。例如： /logs/<type>/…
如何判断 hadoop namenode 是否已经格式化？
当第一次配置我的 hadoop namenode 时，我知道我需要运行， bin/hadoop namenode -format 但是在将数据加载到 HDFS 后第二次运行它，将清除所有内容并…
Hive 在 HDFS 中的什么位置存储文件？
我想知道如何找到 Hive 表和它们所代表的实际 HDFS 文件（或更确切地说，目录）之间的映射。我需要直接访问表文件。 Hive 将其文件存储在 HDFS 中的什…
如何确保数据均匀分布在 hadoop 节点上？
如果我将数据从本地系统复制到 HDFS，我能否确保数据均匀分布在节点上？ PS HDFS保证每个块将存储在3个不同的节点上。但这是否意味着我的文件的所有块…
如何在非 Java 客户端中从 HDFS 读取文件
因此，我的 MR 作业会生成一个报告文件，最终用户需要能够下载该文件，最终用户需要单击普通 Web 报告界面上的按钮，并让它下载输出。根据这本 O'Reil…
Hadoop DFS 指向当前目录
几个月前，我们在本地计算机上安装了 CLoudera Hadoop 3，一切都很好。最近我们还安装了 Whirr 来开始使用集群。虽然我们遇到了一些问题，但过了一段…
