hadoop

hadoop

文章 899 浏览 340

Memcached 和 Hadoop 之间的区别?

Memcached 和 Hadoop 之间的基本区别是什么? Microsoft 似乎使用 Windows Server AppFabric 来实现 memcached。 我知道 memcached 是一个使用多个服…

旧城空念 2024-12-10 19:29:19 1 0

Apache Hadoop - 排除损坏的文件

我处理多个服务器日志文件(大约 40 个)并使用 Apache Hadoop 收集大量指标。如果这些文件中的一个或多个不一致或损坏,我想排除从这些文件收集的所…

古镇旧梦 2024-12-10 18:55:41 0 0

有关 Amazon EMR 上的流式作业流程的问题

我必须使用 Amazon EC2 + S3 + RDS + EMR 制作一个相当复杂的数据处理系统,我有一些一般性问题,希望您能帮助我: 我需要使用 R,然后我必须使用 Str…

橘亓 2024-12-10 15:08:38 0 0

Hbase客户端无法连接到远程Hbase服务器

我为远程服务器编写了以下 hbase 客户端类: System.out.println("Hbase Demo Application "); // CONFIGURATION // ENSURE RUNNING try { HBaseConfi…

娇俏 2024-12-10 11:06:07 0 0

Hadoop:如何在配置中保存Map对象

知道如何将 Map 对象设置到 org.apache.hadoop.conf.Configuration 中吗?…

场罚期间 2024-12-10 10:36:58 0 0

使用 Amazon MapReduce/Hadoop 进行图像处理

我有一个项目需要我处理大量(1000-10000)大(100MB 到 500MB)图像。我正在做的处理可以通过 Imagemagick 完成,但我希望实际上在 Amazon 的 Elasti…

呆头 2024-12-10 10:26:36 1 0

hadoop fs -put 和 hadoop fs -copyFromLocal 之间的区别

-put 和 -copyFromLocal 被记录为相同的,而大多数示例使用详细变体 -copyFromLocal。为什么? -get 和 -copyToLocal 也是如此…

漫漫岁月 2024-12-10 08:37:47 0 0

如何在控制台上抑制 Hadoop 日志记录消息

这些是我试图压制的 Hadoop 日志消息 11/10/17 19:42:23 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584) 11/10/17 19:42:23 INFO mapred.…

情痴 2024-12-10 08:21:54 1 0

客户端机器上的hadoop api配置

超级菜鸟。我有一台带有 cdh3u1 伪发行版的服务器计算机,以及一台带有使用 cdh3u1 API 的 java 应用程序的客户端计算机。 如何配置客户端与服务器通…

能怎样 2024-12-10 08:16:21 0 0

使用 Ganglia 指标对 Amazon Elastic Mapreduce 程序进行哪些良好的测量比较?

我已经看到 Ganglia 监控在网格计算项目上实施和分析,但还没有阅读过有关 Amazon Elastic Mapreduce 程序的任何过程。 Ganglia 有很多指标,但是如果…

花海 2024-12-10 07:49:29 0 0

Pig:在 GROUP 之后将各个字段拉出

在 PigLatin 中,我想从由于聚合(例如 MAX)而选择的记录中提取其他字段。 我无法解释这个问题,所以这是一个例子。假设我想获取一个家庭中最年长的…

强辩 2024-12-09 20:54:10 0 0

java 最好的 HBase 客户端 API 是什么

Closed. This question is seeking recommendations for software libraries, tutorials, tools, books, or other off-site resources. It does not …

衣神在巴黎 2024-12-09 17:13:50 0 0

R 和 Hadoop 有关系吗?

R 和 Hadoop 有关系吗?据我了解,两者都用于大规模数据分析和计算。我还注意到 Google 和 Facebook 使用 R,Mapreduce 框架来自 Google,他们使用它…

演出会有结束 2024-12-09 15:57:49 0 0

从 JobTracker 上已完成的作业中获取 org.apache.hadoop.mapreduce.Job

我正在使用 org.apache.hadoop.mapreduce.Job 来创建/提交/运行 MR 作业(Cloudera3,20.2),完成后,在一个单独的应用程序中,我尝试让作业抓取计数…

野却迷人 2024-12-09 15:05:20 0 0

MapReduce排序迭代器

我正在阅读MapRedcue的源代码,以更好地了解MapReduce的内部机制。当我试图理解映射阶段生成的数据如何合并并发送到reduce函数以进行进一步处理时,我…

挽心 2024-12-09 13:38:52 0 0
更多

推荐作者

已经忘了多久

文章 0 评论 0

15867725375

文章 0 评论 0

LonelySnow

文章 0 评论 0

走过海棠暮

文章 0 评论 0

轻许诺言

文章 0 评论 0

信馬由缰

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文