Mongo Map第一次Reduce

Question

第一次使用 Map/Reduce 用户，并使用 MongoDB。我有很多页面访问数据，我想通过使用 Map/Reduce 来理解这些数据。下面基本上是我想做的，但作为一个 Map/Reduce 的初学者，我认为这超出了我的知识范围！

1. 浏览过去 30 天内有访问量且 external = true 的所有页面。
2. 然后，对于每个页面，查找所有访问
3. 按引荐位置对所有访问进行分组
4. 对于每个引荐位置，计算有多少人访问具有特定“类型”并且在“标签”中也具有特定单词的页面。

数据库和集合的组织方式如下：

$mongo->dbname->visits

示例文档是：

{"url": "www.example.com", "type": "a", "refer": {"external": true, "domain": "twitter.com", "url": "http://www.twitter.com/page"}, "page": "1235", "user": "1232", "time": 1234567890}

然后我想查找具有特定标签的 B 类型文档。

{"url": "www.example.com", "type": "b", "page": "745", "user": "1232", "time": 1234567890, "tags": {"a", "b", "c"}}

如果有影响的话，我正在使用普通的 Mongo PHP 扩展。

Answer 1

好吧，我想出了一些我认为可以实现你想要的东西。请注意，这可能无法完全正常工作，因为我不能 100% 确定您的架构（考虑到您的示例显示 refer 在类型 a 中可用，但在类型 b 中不可用（我不确定这是否是一个遗漏） ，或者考虑到您想通过引用查看）...无论如何，这就是我想出的：

映射函数：

function() {
    var obj = {
        "types": {},
        "tags": {},
    }
    obj.types[this.type] = 1;
    if (this.tags) {
        for (var tag in this.tags) {
            obj.tags[this.tags[tag]] = 1;
        }
    }
    emit(this.refer.url, obj);
}

减少函数：

function(key, values) {
    var obj = {
        "types": {},
        "tags": {},
    }
    for (var i = 0; i < values.length; i++) {
        for (var type in values[i].types) {
            if (!type in obj.types) {
                obj.types[type] = 0;
            }
            obj.types[type] += values[i].types[type];
        }
        for (var tag in values[i].tags) {
            if (!tag in obj.tags) {
                obj.tags[tag] = 0;
            }
            obj.tags[tag] += values[i].tags[tag];
        }
    }
    return obj;
}

基本上，它的工作原理是这样的 映射函数使用引用键。 .url （我根据你的描述猜测）。所以最终结果看起来像一个 _id 等于refer.url 的数组（它根据 url 进行分组）。它下面有两个对象（类型和标签）。对象的原因是为了让map和reduce可以发出相同格式的对象除此之外，我认为它应该是相对不言自明的（如果你不明白，我。可以尝试解释更多）...

所以让我们在 PHP 中实现这个（假设 $map 和 $reduce 是字符串，为了简洁起见，其中包含上述内容）

$mapFunc = new MongoCode($map);
$reduceFunc = new MongoCode($reduce);
$query = array(
    'time' => array('$gte' => time() - (60*60*60*24*30)),
    'refer.external' => true
);
$collection = 'visits';
$command = array(
    'mapreduce' => $collection,
    'map' => $mapFunc,
    'reduce' => $reduceFunc,
    'query' => $query,
);

$statsInfo = $db->command($command);

$statsCollection = $db->selectCollection($sales['result']);

$stats = $statsCollection->find();

foreach ($stats as $stat) {
    echo $stats['_id'] .' Visited ';
    foreach ($stats['value']['types'] as $type => $times) {
        echo "Type $type $times Times, ";
    }
    foreach ($stats['value']['tags'] as $tag => $times) {
        echo "Tag $tag $times Times, ";
    }
    echo "\n";
}

： ，我没有测试过这个。这正是我根据我对您的模式的理解以及我对 Mongo 及其 Map-Reduce 实现的理解而得出的结论......

Answer 2

MapReduce 已经在 Mongo DB ODM 中实现：

http ://www.doctrine-project.org/docs/mongodb_odm/1.0/en/reference/map-reduce.html