Informatica Powercenter 中哪一项性能更好?使用排序器转换或在源限定符上添加排序端口数?

发布于 2025-01-16 18:35:57 字数 177 浏览 0 评论 0原文

我在 Informatica Powercenter 中有一个映射,它组合了来自两个源的数据。一个源拥有大约 2200 万行数据,而另一个源拥有超过 3.89 亿行数据。如果我添加排序器转换,性能会更好吗?还是在源限定符中添加排序端口数会更好? 另外,哪些因素使一种方法优于另一种方法(在排序器转换与在 SQ 中添加排序端口数量的情况下)?

I have a mapping in Informatica Powercenter which combines data from two sources. One source has around 22 million rows of data while the other have >389 million rows of data. Will it be better performance-wise if I add Sorter transformation or is it better to add number of sorted ports in the Source Qualifier?
Also, what factors that makes one way better than the other(in case of sorter transformation vs adding number of sorted ports in SQ)?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

茶底世界 2025-01-23 18:35:57

如果两个表都来自同一个数据库,毫无疑问 - 使用排序端口数在 SQ 中排序。

Informatica 排序器将整个数据导入 infa 服务器,然后进行排序。因此,对 300M 的结果数据进行排序将花费大量的时间和资源。
现在,在源中连接 389 M 和 22M 表并在源本身中对结果进行排序将花费更少的时间和资源。 Informatica 不必将任何数据带入其服务器。

现在,如果它们来自不同的数据库,那么,在源限定符中对它们进行排序将在加入时提高性能。您必须使用连接器将它们连接起来才能获取整个数据集。我认为如果您的排序键与连接键相同,并且您不必使用排序器再次排序,则数据顺序将相同。问题是加入两者都需要时间,但它会比使用 infa 排序器进行排序相对更快。

If both tables are from same DB, without a doubt - sort in the SQ using number of sorted ports.

Informatica sorter brings whole data into infa server and then sorts it. So, sorting 300M resultant data is going to take lot of time + resource.
Now, joining 389 M and 22M table in source and sort the result in source itself will take less time and resource. Informatica doesn't have to bring any data into its server.

Now, if they are from different data bases, then, sorting them in source qualifier will give perf boost while joining. You have to join them using joiner to get whole data set. And i think data order will be same if your sort key is same as join key and you do not have to sort again using sorter. Issue is joining both will take time but it will be comparatively faster than using infa sorter to sort.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文