在 PostgreSQL 中存储二进制文件的多个修订版本的最有效方法是什么？

Question

我正在这里的数据库中寻找有限形式的版本控制：

• 许多修订应该占用尽可能小的空间（我不是在寻找压缩，因为数据已经被压缩）
• 大小是最重要的：同一文件的 要求是次要的
• 我应该能够尽快获取文档的当前版本（获取旧版本不是时间关键）

基本上答案应该至少包含两件事：

• 您将使用什么二进制差异算法？
• 您将如何以 PostreSQL 特有的方式构建这个系统？

Answer 1

“大小是最重要的”：使用 bsdiff？）怎么样？例如 href="http://plsh.projects.postgresql.org/" rel="nofollow">PL/sh 。

“我应该能够尽快获取文档的当前版本”：在这种情况下，您将希望以“错误”的方式进行比较，因此每个版本都将涉及：

1. 将“先前版本”替换为之间的差异“新修订版”和“上一个修订版”
2. 添加“新修订版”

要返回到旧修订版，则需要迭代地将以前的差异应用为补丁，直到获得所需的修订版。

无论你做什么，我认为在使用 diff 工具之前你需要先解压缩数据。原因如下：

dd if=/dev/urandom of=myfile.1 bs=1024 count=10
cp myfile.1 tmp; cat tmp >> myfile.1
cp myfile.1 tmp; cat tmp >> myfile.1
cp myfile.1 tmp; cat tmp >> myfile.1
cp myfile.1 tmp; cat tmp >> myfile.1
dd if=/dev/urandom of=myfile.2 bs=1024 count=10
cp myfile.2 tmp; cat tmp >> myfile.2
cp myfile.2 tmp; cat tmp >> myfile.2
cp myfile.2 tmp; cat tmp >> myfile.2
cp myfile.2 tmp; cat tmp >> myfile.2
cat myfile.1 >> myfile.2
bsdiff myfile.1 myfile.2 diff
gzip -c myfile.1 > myfile.1.gz
gzip -c myfile.2 > myfile.2.gz
bsdiff myfile.1.gz myfile.2.gz gz.diff
rm tmp
ls -l

-rw-r--r-- 1 root root  17115 2011-04-05 10:54 diff
-rw-r--r-- 1 root root  21580 2011-04-05 10:54 gz.diff
-rw-r--r-- 1 root root 163840 2011-04-05 10:54 myfile.1
-rw-r--r-- 1 root root  11709 2011-04-05 10:54 myfile.1.gz
-rw-r--r-- 1 root root 327680 2011-04-05 10:54 myfile.2
-rw-r--r-- 1 root root  23399 2011-04-05 10:54 myfile.2.gz

请注意，gz.diff 大于 diff - 如果您在真实文件中尝试此操作，我预计差异会更大。

Answer 2

我真的很不喜欢重新发明轮子。在存储空间优化方面，比我聪明得多的人已经找到了解决方案。如果可能的话，我更愿意利用这些真正聪明的人的辛勤工作。话虽如此，一旦我了解了它们如何存储二进制数据，我可能会考虑将我的文件存储在 Mercurial 或 Git 等版本控制系统中。一旦你弄清楚你想使用哪一个，你就可以看看如何在 pl/perl 或类似的函数中创建一些存储函数，这些函数可以与版本控制系统交互，并弥合 PostgreSQL 中的关系数据和二进制文件之间的差距。文件。

我对这种方法的唯一问题是，我真的不喜欢我采用事务系统并在其中引入外部系统（Mercurial/Git）。最重要的是，数据库备份不会备份我的 Mercurial 或 Git 存储库。但总会有一个权衡，所以只要弄清楚你可以接受哪些。