存储大量人口统计数据以便轻松分析 - OLAP、ORM、自定义解决方案?

发布于 2024-12-25 11:58:26 字数 481 浏览 5 评论 0原文

我们正在建立一个人口统计数据数据库以供分析;这些数据无处不在,从犯罪数据到人口普查数据再到其他数据。我们希望能够通过地理、度量或时间段进行深入研究,虽然我们已经做了很多标准化工作,以便我们可以找到有关城市 A 的很多信息,但从一张表中提取人口数据显然很困难来自另一个的攻击案例或来自三四个不同数据表的年度数据,由于其关系性质,无需进行大量的 JOINing 和 UNIONing。

我知道 OLAP 是为了解决其中的一些问题,但是当我们要一直添加数据时,我们是否会因一直更新数据立方体而不知所措?当用户可能经常需要非常精细的信息时,所有聚合计算是否都只是很少使用的开销?

是否有另一种替代方案、数据结构或 ORM 类型可以使这变得更容易?如果有更合适的工具,我讨厌将时间投入到 SSAS 这样的特定工具上。感谢您的任何意见!

[编辑 - 我确实打算存储数据,并对其应用诸如 SSRS 之类的东西;我更多地询问在我的情况下是否有任何因素导致 OLAP 可能不是最佳选择,或者是否有更合适的存储机制。]

We're building a database of demographics data for analysis; this data is all over the place, from crime data to census data to other stuff. We want to be able to dig in via geography, metric, or time period, and while we've done a lot of normalization so we can find out a lot of stuff about City A, it's obviously difficult to pull population data from one table and assault cases from another or data by year from three or four different data tables without lots of JOINing and UNIONing due to it's relational nature.

I know OLAP is meant for some of this, but when we're going to be adding data all the time, are we going to be overwhelmed with updating data cubes all the time? And when users might often want very granular information, will all the aggregation calculations just be little-used overhead?

Is there another alternative, data structure or ORM type that would make this easier? I hate to invest the time in a particular tool like SSAS if there is a better-fitting tool out there. Thanks for any input!

[EDIT - I do intend to warehouse the data, and apply something like SSRS to it; I'm more asking if there are any factors in my situation where OLAP might not be the best choice or if there is a more suitable storage mechanism of any time.]

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

故事灯 2025-01-01 11:58:26

您需要一个具有某种描述的数据仓库,以便清理和聚合数据。这适用于来自不同来源的数据(“这些数据遍布各处”)。

为了进行报告,您可能需要某种BI系统。

这两者都不是简单的应用程序/系统。

You need a data warehouse of some description in order to clean up and aggregate the data. This is suitable to data that comes from different sources ("this data is all over the place").

For reporting you will probably need some sort of BI system.

Both of these are not simple applications/systems.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文