动态数据模型

Question

我有一个项目，需要在运行时为特定对象提供用户定义的属性（在此示例中假设为人员对象）。该项目将有许多不同的用户（1000 多个），每个用户都为自己的“Person”对象集定义自己独特的属性。

（例如，用户 #1 将具有一组定义的属性，这些属性将应用于该用户“拥有”的所有人员对象。将其乘以 1000 个用户，这就是该应用程序将使用的最低用户数。）这些属性将用于查询人员对象并返回结果。

我认为这些是我可以使用的可能方法。我将使用 C#（以及任何版本的 .NET 3.5 或 4），并且可以自由支配数据存储区的用途。 （我有 mysql 和 mssql 可用，尽管可以自由使用任何软件，只要它符合要求）

我是否错过了任何东西，或者在我的评估中做出了任何不正确的假设？

在这些选择中，您会选择什么解决方案？

1. 混合 EAV 对象模型。 （使用普通关系模型定义数据库，并为Person表创建一个“属性包”表）。

   缺点：每个查询有很多连接。表现不佳。可以达到查询中使用的联接/表数量的限制。

   我已经制作了一个快速示例，它具有 Subsonic 2.x 'esqe 界面：

   Select().From().Where ... 等
   

   它会生成正确的连接，然后在 C# 中过滤+透视返回的数据，以返回配置有正确类型的数据集的数据表。

   我还没有对该解决方案进行负载测试。它基于 Microsoft 白皮书中的 EA 建议： SQL Server 2008 RTM 最佳文档用于性能和可扩展性的语义数据建模实践

2. 允许用户在运行时动态创建/更改对象的表。我相信 NHibernate 在使用动态属性时在后台执行此解决方案，如其中所述

   http://bartreyserhove.blogspot.com /2008/02/dynamic-domain-mode-using-nhibernate.html

   缺点：

   随着系统的增长，定义的列数会变得非常大，并可能达到最大列数。如果有 1000 个用户，每个用户的“Person”对象都有 10 个不同的属性，那么我们需要一个包含 10k 列的表。在这种情况下不可扩展。

   我想我可以允许每个用户使用一个人员属性表，但如果有 1000 个用户启动，那就是 1000 个表加上应用程序中的其他 10 个表。

   我不确定这是否可以扩展 - 但看起来并非如此。如果我不正确，请纠正我！

3. 使用 NoSQL 数据存储，例如 CouchDb / MongoDb

   据我所知，这些尚未在基于字符串的大型应用程序中得到验证，并且还处于开发阶段的早期阶段。如果我的评估不正确，有人可以告诉我吗？

   http://www.eflorenzano.com/blog/post/ Why-couchdb-sucks/

4. 使用people表中的XML列来存储属性

   缺点 - 查询时没有索引，因此需要检索和查询每一列才能返回结果集，从而导致查询性能较差。

5. 将对象图序列化到数据库。

   缺点 - 查询时没有索引，因此需要检索和查询每一列才能返回结果集，从而导致查询性能较差。

6. berkelyDB 的 C# 绑定

   从我在这里读到的内容：http://www.dinosaurtech。 com/2009/berkeley-db-c-bindings/

   <块引用>

   Berkeley Db 确实被证明是有用的，但正如 Robert 指出的那样 – 没有简单的界面。您的整个 wOO 包装器必须手动编码，并且所有索引都是手动维护的。它比 SQL / linq-to-sql 困难得多，但这就是您为荒谬的速度付出的代价。

   看起来开销很大 - 但是如果有人可以提供有关如何在 C# 中维护索引的教程的链接 - 它可能会很受欢迎。

7. SQL/RDF 混合。 奇怪的是我之前没有想到这一点。与选项 1 类似，但不是“属性包”表，只是 XREF 到 RDF 存储？ 查询涉及 2 个步骤 - 查询 RDF 存储以查找符合正确属性的人员，返回人员对象，并在 SQL 查询中使用这些人员对象的 ID 返回关系数据。额外的开销，但可能是一个常见问题。

Answer 1

Windows 上的 ESENT 数据库引擎大量用于此类半结构化数据。一个例子是 Microsoft Exchange，它与您的应用程序一样，拥有数千个用户，每个用户都可以定义自己的一组属性（MAPI 命名属性）。 Exchange 使用稍微修改的 ESENT 版本。

ESENT 具有许多功能，可以支持具有大量元数据需求的应用程序：每个 ESENT 表可以定义大约 32K 列；可以在运行时添加表、索引和列；稀疏列不设置时不占用任何记录空间；模板表可以减少元数据本身使用的空间。大型应用程序通常拥有数千个表/索引。

在这种情况下，您可以为每个用户创建一个表，并在表中创建每个用户的列，从而在您想要查询的任何列上创建索引。这与某些版本的 Exchange 存储数据的方式类似。这种方法的缺点是 ESENT 没有查询引擎，因此您必须在 MakeKey/Seek/MoveNext 调用时手工制作查询。

ESENT 的托管包装器位于：

http://managementesent.codeplex.com/

Answer 2

在 EAV 模型中，您不必有很多联接，因为您只需拥有查询过滤所需的联接即可。对于结果集，将属性条目作为单独的行集返回。
这就是我们在 EAV 实施中所做的事情。

例如，查询可能会返回扩展属性“年龄”> 的人员。 18：

属性表：

1        Age
2        NickName

第一个结果集：

PersonID Name
1        John
2        Mary

第二个结果集：

PersonID PropertyID Value
1        1         24
1        2         'Neo'
2        1         32
2        2         'Pocahontas'

对于第一个结果集，您需要“年龄”扩展属性的内部联接
查询基本的 Person 对象实体部分：

select p.ID, p.Name from Persons p
join PersonExtendedProperties pp
on p.ID = pp.PersonID
where pp.PropertyName = 'Age'
and pp.PropertyValue > 18 -- probably need to convert to integer here

对于第二个结果集，我们将第一个结果集与 PersonExtendedProperties 表进行外连接，以获取其余的扩展属性。这是一个“窄”结果集，我们不旋转 sql 中的属性，因此这里不需要多个联接。

实际上，我们对不同类型使用单独的表，以避免数据类型转换，使扩展属性建立索引并易于查询。

Answer 3

我的建议：

允许将属性标记为可索引。对可索引属性的数量以及每个对象的列有较小的硬性限制。对所有对象中的总列类型有很大的硬性限制。

将索引实现为与主数据表连接的单独表（每个索引一个）（主表具有较大的对象唯一键）。 （然后可以根据需要创建/删除索引表）。

序列化数据，包括索引列，并将索引属性放入其专用索引表的第一类关系列中。使用 JSON 而不是 XML 来节省表空间。实施短列名称策略（或长显示名称和短存储名称策略）以节省空间并提高性能。

使用夸克作为字段标识符（但仅在主引擎中以节省 RAM 并加速某些读取操作 - 在所有情况下都不要依赖夸克指针比较）。

我对你的选择的看法：

1 是可能的。性能显然会低于不存储字段 ID 列的情况。

2 是一个否，一般来说，数据库引擎并不喜欢动态模式更改。但如果您的数据库引擎擅长于此，则可能是肯定的。

3 可能。

4 是的，虽然我会使用 JSON。

5 好像 4 只是优化程度较低？

6 听起来不错；如果乐于尝试新事物并且对可靠性和性能感到满意，但通常会选择更主流的技术，那么就会选择。我还想将协调事务所涉及的引擎数量减少到比这里更少的程度。

编辑：当然，尽管我推荐了一些东西，但这里可能没有通用的正确答案——用您的数据分析各种数据模型和方法，看看什么最适合您的应用程序。

编辑：更改了上次编辑的措辞。

Answer 4

假设您对每个用户可以定义的自定义属性数量设置了限制 N；只需向 Person 表添加 N 个额外列即可。然后有一个单独的表，用于存储每个用户的元数据，以描述如何为每个用户解释这些列的内容。读入数据后，与 #1 类似，但无需加入即可拉入自定义属性。

Answer 5

对于与您的问题类似的问题，我们使用了“XML Column”方法（您的方法调查中的第四种方法）。但您应该注意，许多数据库 (DBMS) 支持 xml 值的索引。

我建议您为 Person 使用一张表，其中包含一个 xml 列以及其他常见列。换句话说，设计具有所有人员记录共用的列的人员表，并为动态和不同的属性添加单个 xml 列。

我们正在使用Oracle。它支持 xml 类型的索引。支持两种类型的索引：1- XMLIndex，用于索引 xml 中的元素和属性，2- Oracle Text Index，用于在 xml 的文本字段中启用全文搜索。

例如，在 Oracle 中，您可以创建如下索引：

CREATE INDEX index1 ON table_name (XMLCast(XMLQuery ('$p/PurchaseOrder/Reference' 
  PASSING XML_Column AS "p" RETURNING CONTENT) AS VARCHAR2(128)));

并且在选择查询中支持 xml-query：

SELECT count(*) FROM purchaseorder
  WHERE XMLCast(XMLQuery('$p/PurchaseOrder/Reference'
  PASSING OBJECT_VALUE AS "p" RETURNING CONTENT)
  AS INTEGER) = 25;

据我所知，其他数据库（例如 PostgreSQL 和 MS SQL Server（但不包括 mysql））支持 xml 值的此类索引模型。

参见：
http://docs.oracle.com/cd/E11882_01 /appdev.112/e23094/xdb_indexing.htm#CHDEADIH