使用 MapReduce 进行排列
有没有办法用 MapReduce 生成排列？ 输入文件： 1 title1 2 title2 3 title3 我的目标： 1,2 title1,title2 1,3 title1,title3 2,3 title2,title3 …
Apache PIG 问题
我对运行 Pig 脚本/ Map-Reduce 作业有几个问题。 我知道pig在真正开始执行map/reduce作业之前会创建逻辑计划、物理计划以及执行计划；我可以使用命令…
具有已排序文件的 Hadoop MapReduce
我正在使用 Hadoop MapReduce。我已经在 HDFS 中获取了数据，并且每个文件中的数据都已排序。是否可以强制 MapReduce 在映射阶段后不使用数据？我尝试…
Hadoop 减少任务挂起
我设置了一个具有4个节点的hadoop集群，当运行map-reduce任务时，map任务很快完成，而reduce任务挂在27%。我检查了日志，是reduce任务无法从map节点获…
如何从 SQL 转换为 NoSQL/MapReduce？
我有使用关系数据库的背景，但最近开始涉足 CouchDB，并对一些非关系操作（在 SQL 中很简单）在 CouchDB 中并不是一流函数感到惊讶。 如果您花点时间…
CouchDB 的特殊 Map/Reduce 结果
我已经使用 CouchDB 一段时间了，没有任何问题。到目前为止就是这样。我最近在我的地图/减少结果中看到了一些我忽略的东西！ 这是在对“avgs”变量执…
Hive (Hadoop) 中的 COLLECT_SET()
我刚刚了解了 Hive 中的collect_set() 函数，并开始了开发 3 节点集群的工作。 我只有大约 10 GB 需要处理。然而，这项工作确实需要很长时间。我认为c…
Hadoop 映射器发出一个唯一的密钥。我可以在每个地图之后执行减速器吗？
我的映射器发出 “uniq key”-“非常大的值”对。 我的减速器不知道密钥是唯一的。 因此，reducer 会等待所有映射器完成。 我尝试使用组合器，但这对…
可以使用 MapReduce 和 Hadoop 并行处理批处理作业吗？
我们的组织有数百个夜间运行的批处理作业。其中许多工作需要 2、3、4 小时才能完成；有的甚至需要长达7个小时。目前，这些作业以单线程模式运行，因此…
获取 MongoDB 中特定字段平均值的最快方法
假设我有一个如下所示的数据集： { "_id" : ObjectId("4dd51c0a3f42cc01ab0e6506"), "views" : 1000, "status" : 1 } { "_id" : ObjectId("4dd51c0e3f…
mongodb - 检索数组子集
看似简单的任务对我来说是一个挑战。 我有以下 mongodb 结构： { (...) "services": { "TCP80": { "data": [{ "status": 1, "delay": 3.87, "ts": 130…
有没有更好的方法将 mongodb 查询导出到新集合？
我想要什么： 我有一个产品主集合，然后我想过滤它们并将它们放入一个单独的集合中。 db.masterproducts.find({category:"潜水装备"}).copyTo(db.newc…
CouchDB“加入”两个文件
我有两个看起来有点像这样的文档： Doc { _id: AAA, creator_id: ..., data: ... } DataKey { _id: ..., credits_left: 500, times_used: 0, data_id:…
