尝试覆盖数据时 Python Shelf 文件会增大

Question

当我向存储在架子对象中的数据帧添加列时，我看到架子文件大小呈指数增长。这就像每次添加新列时都会创建条目的完整副本，并应用添加的列。键的数量不变。访问修改后的数据帧时会出现新列。数据帧的大小（以字节为单位）增加，但与文件大小不成比例。

import os, sys 
import shelve 
import numpy as np
import pandas as pd


class shelf_class():
    def __init__(self, dbfile ):
        # A database of Dataframes
        self._db = shelve.open(dbfile)
    def __getitem__(self, key):
        return self._db[key]

    def __setitem__(self, key, value):
        self._db[key] = value

    def __delitem__(self, key):
        del self._db[key]
       
    def add_sum(self, key):
        new_data = self._db[key]
        new_data['sum'] = self._db[key].to_numpy().sum(axis=1)
        self._db[key] = new_data
        
    def add_mean(self, key):
        new_data = self._db[key]
        new_data['mean'] = self._db[key].to_numpy().mean(axis=1)
        self._db[key] = new_data
        
filename = 'my_file'
store = shelf_class('my_file')

keys = [str(x) for x in range(10)]
for i in keys:
    store[i] = pd.DataFrame(np.random.random((100,10)))

s = os.path.getsize(filename + '.dat')
print(f'file size = {s:d}')
s = sys.getsizeof(store[i])
print(f'dataframe size = {s:d}')

for i in keys:
    store.add_sum(i)

s = os.path.getsize(filename + '.dat')
print(f'file size = {s:d}')
s = sys.getsizeof(store[i])
print(f'dataframe size = {s:d}')

for i in keys:
    store.add_mean(i)

s = os.path.getsize(filename + '.dat')
print(f'file size = {s:d}')
s = sys.getsizeof(store[i])
print(f'dataframe size = {s:d}')

这会产生：

file size = 86917
dataframe size = 8144
file size = 179152
dataframe size = 8544
file size = 276416
dataframe size = 8944

我做错了什么？

Answer 1

这是架子的一个已知问题。这篇文章

搁置字典大小为 2Gb 的 >100Gb文本文件

提供了一种方法来清理和整理数据库文件，使用：

import dbm
db = dbm.open(shelfFileName, 'w')
db.reorganize()
db.close()

这要求该文件是dbm.gnu，可以使用以下命令进行检查：

import dbm
print( dbm.whichdb(shelfFileName) )