hadoop

hadoop

文章 899 浏览 340

hadoop:四核机器上映射/减少作业的最佳数量

我试图通过谷歌找到答案,但没有找到好的参考资料, - I have a Quad-core Ubuntu box running a map-reduce job. - running default 2 maps and taki…

╭ゆ眷念 2024-12-08 12:12:52 1 0

如何使用Hadoop API copyMerge功能? addString 参数是什么?

有谁知道或使用过 Hadoop API 中的 copyMerge 函数 - FileUtil? copyMerge(FileSystem srcFS, Path srcDir, FileSystem dstFS, Path dstFile, boolea…

撞了怀 2024-12-08 11:13:17 0 0

如何编写子查询并使用“In” Hive 中的子句

如何在 Hive 中使用 In 子句 我想在 Hive 中写这样的东西 从 y 中选择 x,其中 yz 按 x 顺序(从 y 中选择不同的 z); 但我没有找到任何方法可以做到…

带上头具痛哭 2024-12-08 10:10:53 1 0

如何卸载Hadoop?

我正在使用 Mac OSX,想要卸载/重新安装(干净)hadoop 请让我知道我该怎么做, 谢谢…

人海汹涌 2024-12-08 09:58:34 0 0

使用ant构建hadoop

我尝试使用 ant 构建 hadoop-mapreduce-project。我尝试使用 maven 它成功了,但我需要使用 ant 构建它。或者他们在maven构建中可以替代“antcompile-…

机场等船 2024-12-08 00:01:32 0 0

Hadoop:为什么疯狂地写reduce任务可能会超时?

我有一个 Hadoop reduce 任务,它批量读取其输入记录,并进行大量处理并为每个输入批次写入大量输出。我读到 Hadoop认为写入输出是“进度”的目的是杀…

洒一地阳光 2024-12-07 21:53:43 0 0

使用 Hadoop 最快的文件访问速度

我需要以最快的速度访问单个文件,该文件的多个副本存储在使用 Hadoop 的许多系统中。我还需要以排序的方式查找每个文件的 ping 时间。 我应该如何学…

无人接听 2024-12-07 18:29:11 0 0

google appengine mapper - 映射日期范围

我想使用 appengine 映射器来迭代一系列日期(起始日期和截止日期作为属性传递给配置)。对于范围内的每个日期,我将检索将该日期作为属性的实体并对…

以往的大感动 2024-12-07 18:26:59 0 0

与使用 java 相比,hbase/hadoop 中的流作业是否有任何功能损失?

如果这是一个基本问题,请提前抱歉。我正在阅读一本关于 hbase 和学习的书,但书中的大多数示例(以及在线示例)都倾向于使用 Java(我猜是因为 hbase…

嘴硬脾气大 2024-12-07 18:08:59 2 0

Hadoop 0.20.2 减速器在迭代值时抛出 ArrayIndexOutOfBoundsException

我对hadoop相当陌生,但是,我一直在阅读《Hadoop:权威指南》,所以我认为我对基本概念有了了解。 我使用 Hadoop 0.20.2 运行一个相当简单的作业,但…

鼻尖触碰 2024-12-07 17:07:57 0 0

如何配置hadoop mapreduce,以便我的mapreduce类的日志可以输出到文件?

我修改了 $HADOOP_HOME/conf/log4j.properies 但它并没有按照我的预期工作。 如何解决这个问题呢?…

掩饰不了的爱 2024-12-07 17:01:50 1 0

MapReduceBase 和 Mapper 已弃用

public static class Map extends MapReduceBase implements Mapper MapReduceBase、Mapper 和 JobConf 在 Hadoop 0.20.203 中已弃用。 我们现在应该…

寒江雪… 2024-12-07 15:12:09 1 0

如何将 Cloudera Hadoop“vbox”转换为“vbox” VMDK 到 VirtualBox VDI

大家好:我正在尝试在虚拟框中运行 Cloudera Hadoop VM。 首先,我注意到下载的是一个 .vmdk 文件。当然,这个后缀是针对 VMWare 的,所以这有点奇怪…

时间你老了 2024-12-07 12:42:20 2 0

HDFS复制因子

当我将文件上传到 HDFS 时,如果我将复制因子设置为 1,那么文件分割将驻留在一台机器上,还是分割将分布到网络上的多台机器上? hadoop fs -D dfs.re…

秋凉 2024-12-07 10:50:43 1 0

Hbase 区域服务器

我们已经安装了hadoop集群。我们想使用 HBase 而不是它。我的 hbase-site.xml 如下 hbase.rootdir hdfs://ali:54310/hbase The directory shared by R…

只为守护你 2024-12-07 08:12:01 0 0
更多

推荐作者

Gabu-gabumon

文章 0 评论 0

qq_CgiN62

文章 0 评论 0

荔枝明

文章 0 评论 0

¤→小豸慧

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文