有什么方法可以让 django 远程 api 在 GAE 中运行得更快吗？

Question

此处跟进此问题。

我终于编写了一个代码生成工具，将我的所有数据库数据包装成这样：

Pdtfaamt(fano=212373,comsname='SMM',pdtcode='20PLFCL',kind='1',fatype='S',itemno='A3',itemamt=75,type=0).save()
Pdtfaamt(fano=212374,comsname='SMM',pdtcode='20PLFCL',kind='1',fatype='S',itemno='E1',itemamt=75,type=0).save()
Pdtfaamt(fano=212375,comsname='SMM',pdtcode='20PLFCL',kind='1',fatype='S',itemno='E6',itemamt=75,type=0).save()
Pdtfaamt(fano=212376,comsname='SMM',pdtcode='20PLFCL',kind='1',fatype='C',itemno='A3',itemamt=3,type=1).save()

是的，没错！我取出整个数据库并将数据转换为群体指令代码，以便我能够将数据库迁移到 GAE。

所以我部署了 django-nonrel 项目，使用 django-nonrel 远程 api 来触发数据填充过程。

它工作正常，但有一个问题：速度非常慢。谁能告诉我如何提高速度？我做了一些计算，可能需要长达 30 天的时间才能在 GAE 上启动并运行我的所有数据。

附注我使用 django-nonrel 和 djangoappengine 作为后端。

Answer 1

编写导入脚本以利用 python 的多处理池

def import_thing(data):
    thing = ThingEntity(**data)
    thing.put()

def main():
    data = [{fano:'212374', comsname:'SMM', },
              {fano:'212374', comsname:'212375', },
              ...etc ]
    pool = multiprocessing.Pool(4) # split data into 4 parts to run in parallel
    pool.map(import_thing, data)

自 AppEngine 生产以来， 服务器喜欢有很多连接，您应该调整池大小以找到最佳数量。这不适用于导入到开发服务器，因为它是单线程的。

同样重要：确保将它们分批放置（例如 10-20 个），而不是一次放置一个，否则往返会影响您的性能。因此，改进的脚本应该分块工作，例如：

data = [
    [item1,item2,item3],
    [item4, item5, item6],
    [item7, item8, item9],
]
pool.map(import_batch, data)

Answer 2

您可能想了解一下 Mapper API。