从Google App Engine中的巨大列表中计算独特元素
我有一个每月点击量为 15,000,000 次的网络小部件，并且我记录了每个会话。当我想生成报告时，我想知道有多少个唯一 IP。在普通的 SQL 中，这很容易，…
Mongodb Mapreduce 报错
我在mapreduce中有一组数据..收集了随机形式数据的1000000条记录.. 数据结构如下： { "_id" : ObjectId("4d9c8318cbb7813ef940d9e6"), "clientid" : 5…
为什么我修改后的（现实世界的 haskell）Mapreduce 实现失败并出现“打开文件太多”？
我正在实现一个 haskell 程序，它将文件的每一行与文件中的每一行进行比较。为了简单起见，我们假设一行表示的数据结构只是一个 Int，我的算法是平方…
使用map/reduce查找最短的唯一前缀长度
我有一个字符串列表（来自 CouchDB 中的文档）。 我想找到最小前缀长度，以便所有缩短的字符串（采用第一个 LEN 字符）都是唯一的。 例如： aabb aabc…
如何编写自己的 Hadoop 调度程序？
最近在研究hadoop的调度器机制。 使用0.20.2（包括公平和容量） 读过一些论文，LATE\Deadline Scheduler... 有人尝试过吗？ 或者有指导吗？ 无论如何…
使用 MapReduce 删除重复记录
我正在使用 MongoDB，需要删除重复记录。我有一个列表集合，如下所示：（简化） [ { "MlsId": "12345"" }, { "MlsId": "12345" }, { "MlsId": "23456"…
不知道如何在 CouchDB 中创建特定的 MapReduce
我的数据库中有 3 种类型的文档：（ { param: "a", timestamp: "t" } (Type 1) { param: "b", partof: "a" } (Type 2) { param: "b", timestamp: "x" …
Google App Engine MapReduce 有多快？
GAE MapReduce 可以带来多少计算密集型收益？我感兴趣的场景是计算密集型的，例如：在单线程单核应用程序中乘以一万亿个随机浮点数。然后想象 1000 个…
在 CouchDB 中按键返回唯一值
有没有办法在 CouchDB 中执行以下操作？一种通过给定键返回唯一、不同值的方法？ SELECT DISTINCT field FROM table WHERE key="key1" 'key1' => 'som…
地图减少字数示例不起作用
我尝试自己实现字数统计示例，这是我的映射器实现： public static class Map extends Mapper { public void map(LongWritable key, Text value, Cont…
基于一个元素对整个Reducer值列表做一些事情
我有一个有趣的问题，正在努力适应 MapReduce。我有一堆日志条目。我需要做的是这样的： 检查给定 IP 的任何条目是否设置了特定标志。如果是，则对具…
GAE MapReduce 并行性和配额
每分钟配额是否适用于 Google App Engine MapReduce，是否与适用于任何仅使用任务队列进行并行性的非 MapReduce 程序相同，或者 MapReduce 是一种特殊…
如何在hadoop 0.20.2项目中导入包org.apache.hadoop.mapreduce.lib.chain？
我正在尝试链接地图并减少一项工作的阶段。问题是我在 hadoop 0.20.2 下运行，并且 org.apache.hadoop.mapred.lib.Chain 包似乎已被弃用并被 org.apac…
