备份 ZODB blob 的正确方法是什么？

Question

我正在使用 plone.app.blob 将大型 ZODB 对象存储在 blobstorage 目录中。 这减少了 Data.fs 的大小压力，但我无法找到任何有关备份此数据的建议。

我已经通过将网络备份工具指向 repozo 备份目录来备份 Data.fs。 我是否应该简单地将该工具指向 blobstorage 目录来备份我的 blob？

如果在复制过程中正在重新打包数据库或添加和删除 blob，该怎么办？ blobstorage 目录中是否有必须按特定顺序复制的文件？

Answer 1

只要在这两个操作发生时数据库没有被打包，对 Data.fs 进行 repozo 备份，然后对 blobstorage 目录进行 rsync 应该是安全的。

这是因为，至少在将 blob 与 FileStorage 结合使用时，对 blob 的修改始终会导致创建基于对象 id 和事务 id 命名的新文件。 因此，如果在备份 Data.fs 后写入新的或更新的 blob，则应该不是问题，因为 Data.fs 引用的文件应该仍然存在。 删除 blob 不会导致文件被删除，直到数据库被打包为止，所以这也应该没问题。

以不同的顺序执行备份或在备份期间打包可能会导致备份 Data.fs 引用未包含在备份中的 blob。

Answer 2

备份“blobstorage”就可以了。 不需要特殊订单或其他任何东西，非常简单。

Plone 中的所有操作都是完全事务性的，因此在事务中间进行备份应该可以正常工作。 这就是您可以对 ZODB 进行实时备份的原因。 在不知道您所在的文件系统的情况下，我猜它应该按预期工作。

Answer 3

我有一个脚本，可以使用硬链接复制一个月的 blob（因此您可以将 blob 的历史记录作为 Data.fs ）：

backup.sh

#!/bin/sh

# per a fer un full : ./cron_nocturn.sh full

ZEO_FOLDER=/var/plone/ZEO

# Zeo port
ZEO_PORT = 8023

# Name of the DB
ZEO_DB = zodb1

BACKUP_FOLDER=/backup/plone

LOGBACKUP=/var/plone/ZEO/backup.log

BACKUPDIR=`date +%d`

echo "INICI BACKUP" >> $LOGBACKUP
echo `date` >> $LOGBACKUP

# Fem el packing

if [ "$1" = "full" ]; then
  $ZEO_FOLDER/bin/zeopack -S $ZEO_DB -p $ZEO_PORT -h 127.0.0.1


echo "   Comprovant folders"
#mirem si existeix el folder de backup
if ! [ -x $BACKUP_FOLDER/$ZEO_DB ]; then
   mkdir $BACKUP_FOLDER/$ZEO_DB
fi

#mirem si existeix el backup folder del dia
if ! [ -x $BACKUP_FOLDER/blobs/$BACKUPDIR/ ] ; then
   mkdir $BACKUP_FOLDER/blobs/$BACKUPDIR/
fi

echo "   Backup Data.fs"
# backup de Data.fs
if  [ "$1" = "full" ]; then
   echo "   Copiant Data.fs"
   $ZEO_FOLDER/bin/repozo -B -F -r $BACKUP_FOLDER/$ZEO_DB/ -f $ZEO_FOLDER/var/filestorage/Data_$ZEO_DB.fs
   echo "   Purgant backups antics"
   $ZEO_FOLDER/neteja.py -l $BACKUP_FOLDER/$ZEO_DB -k 2
else
   $ZEO_FOLDER/bin/repozo -B -r $BACKUP_FOLDER/$ZEO_DB/ -f $ZEO_FOLDER/var/filestorage/Data_$ZEO_DB.fs
fi

echo "   Copiant blobs"
# backup blobs
rm -rf $BACKUP_FOLDER/blobs/$BACKUPDIR
cd $BACKUP_FOLDER/current-blobs && find . -print | cpio -dplm $BACKUP_FOLDER/blobs/$BACKUPDIR
rsync --force --ignore-errors --delete --update -a $ZEO_FOLDER/var/blobs/ $BACKUP_FOLDER/current-blobs/


echo "FI BACKUP" >> $LOGBACKUP
echo `date` >> $LOGBACKUP

neteja.py

#!/usr/bin/python2.4

# neteja.py -l [directori_desti] -k [numero_fulls_a_mantenir]
# Script que neteja un directori amb backups i guarda nomes els ultims fulls que li especifiquis
# Es basa en la utilitzacio de collective.recipe.backup
# Author: Victor Fernandez de Alba <[email protected]>

import sys, getopt

sys.path[0:0] = [
  '/var/plone/genwebupcZEO/produccio/eggs/collective.recipe.backup-1.3-py2.4.egg',
  '/var/plone/genwebupcZEO/produccio/eggs/zc.buildout-1.4.2-py2.4.egg',
  '/var/plone/genwebupcZEO/produccio/eggs/zc.recipe.egg-1.2.2-py2.4.egg',
  '/var/plone/genwebupcZEO/produccio/eggs/setuptools-0.6c11-py2.4.egg',
  ]

import collective.recipe.backup.repozorunner

argv = sys.argv[1:]
try:
    opts, args = getopt.getopt(argv, "l:k:", ["location=", "keep="])
except getopt.GetoptError:
    print "neteja.py -l [directori_desti] -k [numero_fulls_a_mantenir]"
    sys.exit(2)

for opt, arg in opts:
    if opt in ("-l", "--location"):
        location = arg
    elif opt in ("-k", "--keep"):
        keep = arg

if len(opts)<2:
    print "neteja.py -l [directori_desti] -k [numero_fulls_a_mantenir]"
    sys.exit(2)

collective.recipe.backup.repozorunner.cleanup(location, keep)

Answer 4

您的 FileStorage 备份策略很好。 然而，对在多个文件中存储数据的任何数据库进行备份绝非易事，因为您的复制必须在不写入各个文件的情况下进行。 对于文件存储来说，盲目的愚蠢副本就可以了，因为它只是一个文件。 （使用 repozo 甚至更好。）

在这种情况下（将 BlobStorage 与 FileStorage 结合使用）我必须指出常规备份建议：

• 在进行文件系统复制时使数据库脱机，
• 使用 LVM 等快照工具将磁盘冻结在给定点
• 进行事务性导出（实际上不可行）