MongoDB 产生的存储开销是否超过 100%？即，我插入22GB数据，它在磁盘上占用50GB

Question

我做了一个简单的实验来测试MongoDB的性能和磁盘使用情况。 我插入了22GB数据，但它占用了磁盘50GB。我将在下面详细描述这个实验。

设置：

• 版本 - MongoDB 2.0.2。
• 环境： 1）单节点，没有任何复制或分片。 2) 通过 VirtualBox 的虚拟机。 3) Linux Ubuntu 64位。 4）100GB固定虚拟磁盘和1GB内存
• 语言：C#&& MongoDB C# 驱动程序
• 目标和过程：非常简单。我只是不断创建一个新的 {KEY, VALUE} 对并将其插入到 MongoDB 中。
• *插入次数 = 1024 * 1024 * 1024 / 3
• KEY 的大小 = 20 字节（字节数组），每次插入递增 1 的计数器，即 KEY = {1, 2, 3, ..., 1024*1024*1024}
• VALUE 的大小 = 100 字节（字节数组），随机通过 Random 类生成。

结果：

所以这个实验意味着我希望将大约40GB的数据（每次插入120字节数据）插入到MongoDB中，我相信它很简单。然而，当实际插入的数据达到22GB时，我就停下来了，因为我发现了存储开销问题。 我插入的实际数据约为22GB，但所有indexdb.*文件的大小均为50GB。所以有超过100%的存储开销。

我自己的想法：

我读过相当多的MongoDB文档。根据我所读到的内容，存储可能有两种开销。

1. 操作日志。但它的上限是大约 5% 的磁盘空间。就我而言，它的上限约为 5GB。
2. 预分配的数据文件。我没有改变mongod的任何设置，所以我认为是提前2GB。让我假设最新使用的 2GB 文件几乎是空的，因此总共最多有 4GB 开销。

所以根据我的计算，无论我插入多大的数据，最多应该有9GB的开销。但现在开销是50GB - 22GB = 28GB。我不知道那 28GB 里面有什么。而如果这个开销始终超过100%，那就是相当多了。

任何人都可以向我解释一下吗？

---

这是我从 mongo shell 获得的一些 mongodb 统计信息。

db.serverStatus() {
"host" : "mongodb-VirtualBox",
"version" : "2.0.2",
"process" : "mongod",
"uptime" : 531693,
"uptimeEstimate" : 460787,
"localTime" : ISODate("2012-01-26T16:32:12.888Z"),
"globalLock" : {
     "totalTime" : 531692893756,
     "lockTime" : 454374529354,
     "ratio" : 0.8545807827977436,
     "currentQueue" : {
          "total" : 0,
          "readers" : 0,
          "writers" : 0
     },
     "activeClients" : {
          "total" : 0,
          "readers" : 0,
          "writers" : 0
     }
},
"mem" : {
     "bits" : 64,
     "resident" : 292,
     "virtual" : 98427,
     "supported" : true,
     "mapped" : 49081,
     "mappedWithJournal" : 98162
},
"connections" : {
     "current" : 3,
     "available" : 816
},
"extra_info" : {
     "note" : "fields vary by platform",
     "heap_usage_bytes" : 545216,
     "page_faults" : 14477174
},
"indexCounters" : {
     "btree" : {
          "accesses" : 3808733,
          "hits" : 3808733,
          "misses" : 0,
          "resets" : 0,
          "missRatio" : 0
     }
},
"backgroundFlushing" : {
     "flushes" : 8861,
     "total_ms" : 26121675,
     "average_ms" : 2947.93759169394,
     "last_ms" : 119,
     "last_finished" : ISODate("2012-01-26T16:32:03.825Z")
},
"cursors" : {
     "totalOpen" : 0,
     "clientCursors_size" : 0,
     "timedOut" : 0
},
"network" : {
     "bytesIn" : 44318669115,
     "bytesOut" : 50995599,
     "numRequests" : 201846471
},
"opcounters" : {
     "insert" : 0,
     "query" : 3,
     "update" : 201294849,
     "delete" : 0,
     "getmore" : 0,
     "command" : 551619
},
"asserts" : {
     "regular" : 0,
     "warning" : 0,
     "msg" : 0,
     "user" : 1,
     "rollovers" : 0
},
"writeBacksQueued" : false,
"dur" : {
     "commits" : 28,
     "journaledMB" : 0,
     "writeToDataFilesMB" : 0,
     "compression" : 0,
     "commitsInWriteLock" : 0,
     "earlyCommits" : 0,
     "timeMs" : {
          "dt" : 3062,
          "prepLogBuffer" : 0,
          "writeToJournal" : 0,
          "writeToDataFiles" : 0,
          "remapPrivateView" : 0
     }
},
"ok" : 1}

db.index.dataSize(): 29791637704

db.index.storageSize(): 33859297120

db.index.totalSize(): 45272200048

db.index.totalIndexSize(): 11412902928

db.runCommand("getCmdLineOpts"): { "argv" : [ "./mongod" ], "parsed" : { }, "ok" : 1 }

---

我的代码片段。我刚刚删除了那些 MongoDB 连接代码并将核心保留在这里。

static void fillupDb()
{
    for (double i = 0; i < 1024 * 1024 * 1024 / 3; i++)
    {
        //Convert the counter i to a 20 bytes of array as KEY
        byte[] prekey = BitConverter.GetBytes(i);
        byte[] key = new byte[20];
        prekey.CopyTo(key, 0);

        // Generate a random 100 bytes of VALUE
        byte[] value = getRandomBytes(100);
        put(key, value);
    }
}

public void put(byte[] key, byte[] value)
{
    BsonDocument pair = new BsonDocument {
        { "_id", key } /* I am using _id as the index */,
        { "value", value }};
    collection.Save(pair);
}

Answer 1

嗯，首先。如何衡量输入数据的大小？键值对可以是两个字符串或一个 JSON 对象。

此外，每个文档都添加了一些额外的填充，以方便文档在后续更新中增长。平均填充因子可以通过 db.col.stats().paddingFactor 检索。

最后，可能增加开销的不仅仅是 oplog。 _id 上总是有一个索引，在您的情况下（因为您的文档非常小），它将在磁盘空间使用方面带来显着的开销。除非您禁用它（--nojournal），否则日志也会在总数中添加相当多的字节。

希望有帮助。