hadoop:四核机器上映射/减少作业的最佳数量
我试图通过谷歌找到答案,但没有找到好的参考资料, - I have a Quad-core Ubuntu box running a map-reduce job. - running default 2 maps and taki…
如何使用Hadoop API copyMerge功能? addString 参数是什么?
有谁知道或使用过 Hadoop API 中的 copyMerge 函数 - FileUtil? copyMerge(FileSystem srcFS, Path srcDir, FileSystem dstFS, Path dstFile, boolea…
如何编写子查询并使用“In” Hive 中的子句
如何在 Hive 中使用 In 子句 我想在 Hive 中写这样的东西 从 y 中选择 x,其中 yz 按 x 顺序(从 y 中选择不同的 z); 但我没有找到任何方法可以做到…
使用ant构建hadoop
我尝试使用 ant 构建 hadoop-mapreduce-project。我尝试使用 maven 它成功了,但我需要使用 ant 构建它。或者他们在maven构建中可以替代“antcompile-…
Hadoop:为什么疯狂地写reduce任务可能会超时?
我有一个 Hadoop reduce 任务,它批量读取其输入记录,并进行大量处理并为每个输入批次写入大量输出。我读到 Hadoop认为写入输出是“进度”的目的是杀…
google appengine mapper - 映射日期范围
我想使用 appengine 映射器来迭代一系列日期(起始日期和截止日期作为属性传递给配置)。对于范围内的每个日期,我将检索将该日期作为属性的实体并对…
与使用 java 相比,hbase/hadoop 中的流作业是否有任何功能损失?
如果这是一个基本问题,请提前抱歉。我正在阅读一本关于 hbase 和学习的书,但书中的大多数示例(以及在线示例)都倾向于使用 Java(我猜是因为 hbase…
Hadoop 0.20.2 减速器在迭代值时抛出 ArrayIndexOutOfBoundsException
我对hadoop相当陌生,但是,我一直在阅读《Hadoop:权威指南》,所以我认为我对基本概念有了了解。 我使用 Hadoop 0.20.2 运行一个相当简单的作业,但…
如何配置hadoop mapreduce,以便我的mapreduce类的日志可以输出到文件?
我修改了 $HADOOP_HOME/conf/log4j.properies 但它并没有按照我的预期工作。 如何解决这个问题呢?…
MapReduceBase 和 Mapper 已弃用
public static class Map extends MapReduceBase implements Mapper MapReduceBase、Mapper 和 JobConf 在 Hadoop 0.20.203 中已弃用。 我们现在应该…
如何将 Cloudera Hadoop“vbox”转换为“vbox” VMDK 到 VirtualBox VDI
大家好:我正在尝试在虚拟框中运行 Cloudera Hadoop VM。 首先,我注意到下载的是一个 .vmdk 文件。当然,这个后缀是针对 VMWare 的,所以这有点奇怪…
Hbase 区域服务器
我们已经安装了hadoop集群。我们想使用 HBase 而不是它。我的 hbase-site.xml 如下 hbase.rootdir hdfs://ali:54310/hbase The directory shared by R…