需要一个可扩展、分布式、能够极快地读取数据并与 .NET 配合使用的存储解决方案

Question

我目前有一个 RDBMS 数据解决方案。服务器上的负载将增长 10 倍，而且我不相信它会扩展。

我相信我需要的是一个能够提供容错、可扩展并且能够极快地检索数据的数据存储。

The Stats
    Records: 200 million
    Total Data Size (not including indexes):  381 GB
    New records per day: 200,000
    Queries per Sec:  5,000
    Query Result: 1 - 2000 records


Requirements
    Very fast reads
    Scalable 
    Fault tolerant
    Able to execute complex queries (conditions across many columns)
    Range Queries
    Distributed
    Partition – Is this required for 381 GB of data?
    Able to Reload from file
    In-Memory (not sure)

Not Required
    ACID - Transactions

数据存储的主要目的是快速检索数据。将访问此数据的查询将具有跨许多不同列（30 列，可能更多）的条件。我希望这是足够的信息。

我读过许多不同类型的数据存储，包括 NoSQL、内存中、分布式哈希、键值、信息检索库、文档存储、结构化存储、分布式数据库、表格等。还有超过 2 打产品实现这些数据库类型。有很多东西需要消化并找出哪些可以提供最佳解决方案。

该解决方案最好在 Windows 上运行并与 Microsoft .NET 兼容。

根据上述信息，有人有任何建议吗？为什么？

谢谢

Answer 1

那么，你的问题是什么？我在这里并没有真正看到任何不平凡的东西。

• 快速且可扩展：获取数据库（抱歉，复杂的查询，列=数据库）并获取一些不错的 SAN - HP EVA 非常棒。我见过，在数据库中，使用 190 个 SAS 磁盘每秒提供 800mb 的随机 IO 读取。对你来说够快吗？抱歉，但这就是可扩展性。

• 400GB 数据库大小无论如何都不会改变。

• • 找一个像样的服务器。 Supermicro 的一款可容纳 24 个光盘，高度为 2 个机架单位。
• • 购买更高端的 SAS raid 控制器 - Adaptec。
• • 插入 RAID 10 配置中的 ReadSSD 驱动器。您会感到惊讶 - 您将比看到“哎哟”更快地使 IO 总线饱和。具有 24 个磁盘空间，具有可扩展性。以及每秒可处理 1.2 GB 的 IO 总线。

最后，请专业人士来调整您的数据库服务器。就这么简单。正确使用 SQL Server 比“好吧，我只知道选择应该是什么样子”（没有真正知道）要复杂得多。