Pig 如何在“负载”中使用 Hadoop Glob？陈述？
正如我之前指出的，Pig 不能很好地处理空（0 字节）文件。不幸的是，有很多方法可以创建这些文件（甚至在 Hadoop 实用程序中）。 我认为我可以通过显…
Hadoop 工作负载
我目前正在使用hadoop 中的wordcount 应用程序作为基准。我发现 CPU 使用率几乎稳定在 80-90% 左右。我希望 CPU 使用率有波动。有没有任何hadoop应用…
从HDFS导入数据到Hive表
我的数据位于 HDFS 中的 data/2011/01/13/0100/file 中，每个文件都包含制表符分隔的数据，例如名称、ip 和 url。 我想在 Hive 中创建一个表并从 hdfs…
Java 足以支持 Hadoop
Closed. This question is opinion-based. It is not currently accepting answers. 想要改进这个问题？更新问题，以便可以通过编辑这篇文章用事实和…
使用 thrift/avro 进行 hadoop 作业以在 Java 和 C++ 之间进行通信；
现在我们有一个 Java Hadoop 作业正在处理一些 C++ 二进制文件。我们将文件写入 NFS 和 C++，然后 Java 读取它们，这就是我们的通信形式，这阻碍了我…
运行 Hadoop MapReduce 作业时如何获取文件名/文件内容作为 MAP 的键/值输入？
我正在创建一个程序来分析 PDF、DOC 和 DOCX 文件。这些文件存储在 HDFS 中。 当我开始 MapReduce 作业时，我希望映射函数将文件名作为键，将二进制内…
NativeException：org.apache.hadoop.hbase.MasterNotRunningException：null
我已经成功启动Hadoop和Hbase。但是当我尝试这个操作时， ./hbase shell HBase 外壳；输入“help”以获取支持的命令列表。 版本：0.20.3，r902334，20…
如何在作业完成之前在hadoop中重新运行整个map/reduce？
我使用 Hadoop Map/Reduce 使用 Java 假设，我已经完成了整个 Map/Reduce 工作。有什么方法可以重复整个映射/减少部分，而不结束工作。我的意思是，我…
如何根据当前正在运行的作业ID检索hadoop作业配置？
如果我知道作业 ID，有什么方法可以检索作业配置（配置中的某些属性）？ 基本上，我正在做的是检查目前是否有任何正在运行的作业，然后我想检查当前正…
为什么我得到“security.Groups：组映射 impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping;”缓存超时=300000”？
$hdfs dfs -rmr crawl 11/04/16 08:49:33 INFO security.Groups: Group mapping impl=org.apache.hadoop.security.ShellBasedUnixGroupsMapping cache…
在减少阶段后合并输出文件
在mapreduce中，每个reduce任务将其输出写入名为part-r-nnnnn的文件，其中nnnnn是与reduce任务关联的分区ID。 map/reduce 是否合并这些文件？如果是，…
hbase 命令与 hadoop 命令
O'Reilly Elephant 书中对 hbase 的一点描述显示了如何使用“hbase”命令行包装器来使用 hbase 运行映射缩减作业。 但是，我们的代码有很长的类路径，…
