使用 REST Web 服务进行 ETL/数据仓库

发布于 2024-09-09 07:52:10 字数 403 浏览 2 评论 0原文

有人使用基于 REST 的方法进行 ETL/数据仓库操作吗?换句话说,通过 REST Web 服务调用调用 ETL 和 OLAP/数据库刷新作业:

例如 PUT http://company.com /cube/123523(用新数据刷新特定的 OLAP 多维数据集) 或 POST http://company.com/view/病人/123123 (创建一个新的患者的数据库视图)

在我看来,REST 是一种非常适合和干净的架构风格,用于建模此类每月任务......

Has anyone used a REST-based approach for ETL / Datawarehousing operations? In other words, invoking ETL and OLAP / Database refresh jobs through REST webservices calls:

e.g. PUT http://company.com/cube/123523 (to refresh a specific OLAP cube with new data)
or POST http://company.com/view/patients/123123 (to create a new database view for patients)

Seems to me like REST is a very suitable and clean architectural style for modeling such monthly tasks....

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

蓝天 2024-09-16 07:52:10

ETL 就是非常非常快地将行插入数据库(或者有时非常非常灵活,当数据有点不确定并且需要自动清理时)。

REST 意味着使用所有的 HTTP,因此使用所有的动词,并且通常是 unicode 的生活方式。

HTTP 作为一种协议并不是很快。它不是二进制的(尽管我认为你可以有二进制有效负载)

ETL 问题实际上是在寻找依赖于数据源的解决方案。您的数据源是否具有本机二进制协议?使用它,通常是最快的。

话虽如此,有些数据源被锁定在端口 80 后面。Microsoft 的 ADO.NET 数据服务 (Astoria) 等公司已经在研究基于 REST 的数据访问 API 的细节。如果它具有高性能,我会感到惊讶,但它看起来肯定会非常灵活。

ETL is all about inserting rows into a database very, very fast (or sometimes, very, very flexibly when the data is a bit dicey and requires automated cleanup).

REST means using all of HTTP, so using all the verbs and generally the a unicode-way of life.

HTTP as a protocol isn't very fast. It isn't binary (all though I suppose you can have binary payload)

ETL problems are really looking for solutions that depend on the data source. Does your datasource have a native, binary protocol? Use that, it usually is the fastest.

All that said, there are data sources that are locked behind port 80. Things like Microsoft's ADO.NET Data Services (Astoria) already are working out the details of a REST based data access API. I'd be surprised if it is high performance, but it certainly seems like it would be highly flexible.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文