哪种数据库引擎适合处理10^10条记录?

发布于 2024-10-17 07:24:11 字数 343 浏览 3 评论 0原文

我打算使用 mysql 来存储我的数据集。 我有大约 10^8(亿)条记录: ID(整数)x(浮点)y(浮点)z(浮点)属性(浮动)

哪种数据库引擎适合这种数据集 InnoDB 或 MyISAM?或者也许是ndb(我不知道可扩展性或性能)?

我计划用以下问题查询静态数据集:

选择getRectagularRegiongetPointsInSphere

I am planning to use mysql to store my datasets.
I have about 10^8 (hundred million) records:
ID(int), x(float), y(float), z(float), property(float).

Which database engine is suited for this kind of data-sets InnoDB or MyISAM? Or maybe ndb (I have no idea on scalability or performance)?

I am planning to query the static dataset with following questions:

Select getRectagularRegion or getPointsInSphere;

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

撑一把青伞 2024-10-24 07:24:11

我假设您正在尝试在 3D 空间中存储点,然后查找某个区域内的所有点。

与拥有一个非常好的数据库相比,包含大量记录的下划线数据库编码对您来说并不那么重要 。数据库中内置 3D 空间索引系统。如果没有空间索引,您就无法随心所欲地进行查询。

您还应该考虑编写自己的数据存储,因为简单的第三棵树可以为您提供良好的索引,具体取决于您的点的聚类方式 - 但使用“独立”数据库对您来说工作量会更少。

因此,我认为您需要研究数据库中对空间索引的支持,而不是询问对大量行的支持。如今,存储大量行是大多数数据库的规定……

I am assuming you are trying to store points in 3d space and then find all points within a region.

How the underlining database codes with a lot of records is a lot less important to you then having a very good 3d spatial indexing system build in to the database. Without the spatial indexing you can’t do the queries with wish.

You should also consider writing your own data storage as a simple 3rd quod tree may give you good indexing depending on how your points are clustered – but using a "off the self" database would be less work for you.

So I think you need to investigate support for spatial indexing in databases, rather than ask about support for lots of rows. Storing lots of rows is a given for most databases these days…

兲鉂ぱ嘚淚 2024-10-24 07:24:11

您的表似乎非常简单,您不需要事务和外键。所以我想 MyISAM 比 InnoDB 更适合。但我想 MEMORY 可能是你最快的选择。

Your table seems to be pretty simple and you won't need transactions and foreign keys. So I guess MyISAM would be better suited than InnoDB. But I guess MEMORY might be your fastest choice.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文