将大量 XML 数据导入 Google App Engine
我有相当大量的 XML 数据（大约 200MB），我想将其导入到 App Engine 数据存储区中。
到目前为止，我已经尝试创建模型并使用 cElementTree 解析器来加载实体，但这需要很长时间。
我还担心数据存储区处理这么多数据的能力如何，以及是否有更好的方法。
所以我的问题是，将 XML 解析到 App Engine 的最快方法是什么，是否有更好的后端可以处理存储数十万个实体/记录。
I have a reasonably large amount of XML data (about 200MB) that I want to import into an App Engine datastore.
So far I've tried creating the models and using the cElementTree parser to load the entities, but it is taking a long time.
I also have concerns about how well the datastore will handle this much data, and if there is a better way.
So my questions are, what is the fastest way of parsing XML into App Engine, and is there a better backend that will handle storing several hundred thousand entities / records.
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（1）
我会选择批量加载器支持从 XML 源读取数据。
对于 XML 的大小，Datastore 处理如此大量的数据完全没有问题。
I would go with the Bulk Loader that supports reading data from an XML source.
Regarding the size of the XML, Datastore will have no problem at all to handle such amount of data.