Hadoop - 为特定节点的映射器内的每个 map() 函数创建类的单个实例
我在java中为hadoop MapReduce有一个类似这样的类， public Class MyClass { public static MyClassMapper extends Mapper { static SomeClass someCl…
使用 SQL Server 作为数据源的 MapReduce
我目前正在研究使用 MapReduce 在 SQL Server 中维护增量视图构建的可能性。 基本上，使用 MapReduce 创建物化视图。 我有点卡atm了。考虑如何对我的 …
有条件地在 MongoDb 集合上运行 map/reduce
我对map/reduce的理解似乎还不够。我想知道是否可以从集合中选择文档子集并仅在该子集上运行我的映射和归约函数。 一般情况下可以吗？ 如果不是，则意…
平衡 HDFS 的想法 -> HBase 映射减少作业
对于客户，我一直在研究在 AWS EC2 上运行 Cloudera 风格的 hadoop 集群的短期可行性。在大多数情况下，结果都是预期的，逻辑卷的性能大多不可靠，也…
使用 Rails 和 Mongoid 对范围集合进行 Map/Reduce
我正在尝试使用 MongoDB 和 Mongoid 在 Rails 3.1 应用程序中映射/减少范围。 结果看起来很奇怪，所以我想知道 map_reduce 是否可以应用于预定范围的…
我们如何强制许多映射器读取hadoop中的一个特定文件（相同的数据）？
我想编写一个程序，让许多映射器读取一个 1 文件 是一个图，所有内容都在该图上进行处理，该文件约为 14 kb 如果我以正常方式运行，则只会为该文件映…
Hadoop：JPS 找不到已安装的 Java
我的配置是 hduser@worker1:/usr/local/hadoop/conf$ jps The program 'jps' can be found in the following packages: * openjdk-6-jdk * openjdk-7-…
Memcached 和 Hadoop 之间的区别？
Memcached 和 Hadoop 之间的基本区别是什么？ Microsoft 似乎使用 Windows Server AppFabric 来实现 memcached。 我知道 memcached 是一个使用多个服…
MapReduce 和 MongoDb 上的按日期分组
我正在尝试测试 mongoDb 来管理我们的性能日志。 对于此测试，我使用以下格式在集合中插入了 10M 行 { "_id" : ObjectId("4e9d3cc4621dc1dc11000000")…
MongoDB增量mapReduce，仅选择新文档，在上次mapReduce之后添加
假设我有一个包含如下所示文档的集合（只是简化的示例，但它应该显示方案）： > db.data.find() { "_id" : ObjectId("4e9c1f27aa3dd60ee98282cf"), "t…
如何在控制台上抑制 Hadoop 日志记录消息
这些是我试图压制的 Hadoop 日志消息 11/10/17 19:42:23 INFO mapred.MapTask: (EQUATOR) 0 kvi 26214396(104857584) 11/10/17 19:42:23 INFO mapred.…
使用 Ganglia 指标对 Amazon Elastic Mapreduce 程序进行哪些良好的测量比较？
我已经看到 Ganglia 监控在网格计算项目上实施和分析，但还没有阅读过有关 Amazon Elastic Mapreduce 程序的任何过程。 Ganglia 有很多指标，但是如果…
出现错误“ImportError：找不到“input_readers”在路径“映射缩减”上尝试启动mapReduce作业
尝试通过 http://localhost:8080/mapreduce 启动器页面。 看来我的问题与这篇文章类似，AppEngine 映射器 API 导入错误。不幸的是，没有给出明确的答…
