我可以在 google 的 BigTable 数据存储中存储 python 字典而不显式序列化它吗？

Question

我有一个 python 字典，我想将其存储在 Google 的 BigTable 数据存储中（它是 db.Model 类中的一个属性）。

有没有简单的方法可以做到这一点？即使用db.DictionaryProperty？或者我必须使用 pickle 来序列化我的字典吗？我的字典比较简单。它由作为键的字符串组成，但它也可能包含某些键的子字典。例如：

{ 
    'myKey' : 100,
    'another' : 'aha',
    'a sub dictionary' : { 'a': 1, 'b':2 }
}

PS：如果可能的话，我想序列化为二进制，而不是文本。

Answer 1

这是另一种方法：

class DictProperty(db.Property):
  data_type = dict

  def get_value_for_datastore(self, model_instance):
    value = super(DictProperty, self).get_value_for_datastore(model_instance)
    return db.Blob(pickle.dumps(value))

  def make_value_from_datastore(self, value):
    if value is None:
      return dict()
    return pickle.loads(value)

  def default_value(self):
    if self.default is None:
      return dict()
    else:
      return super(DictProperty, self).default_value().copy()

  def validate(self, value):
    if not isinstance(value, dict):
      raise db.BadValueError('Property %s needs to be convertible '
                             'to a dict instance (%s) of class dict' % (self.name, value))
    return super(DictProperty, self).validate(value)

  def empty(self, value):
    return value is None

Answer 2

我认为你无法避免序列化你的对象。

我将定义以下模型来存储每个键、值对：

class DictModel(db.Model):
    value = db.TextProperty()

保存到我使用的数据存储：

def set_value(key, value):
    key = DictModel(value=pickle.dumps(value), key_name=key)
    key.save()
    return key

并检索数据：

def get_value(key):
    return pickle.loads(DictModel.get_by_key_name(key).value)

Answer 3

我认为当你需要能够访问字典时，它是一次性的吗？当字典位于数据存储中时，您不必从字典内部获取值吗？

如果是这样，您将必须序列化，但不必使用 pickle；我们使用 simplejson 代替。然后检索是重写 toBasicType() 的简单问题，有点像这样：

class MyModel(db.Model)：
#定义一些属性，包括“data”，它是一个包含大字典的 TextProperty
def toBasicType(self):
返回 {'元数据': self.getMetadata(),
'data': simplejson.loads(self.data)}

创建涉及调用 MyModel(...,simplejson.dumps(data),...)。

如果您已经在进行酸洗，这可能是您最好的选择，但 simplejson 对我们来说工作得很好。