如何为包含IIC中的大记录的Joiner Transformation选择主和细节?

发布于 2025-02-06 10:54:25 字数 290 浏览 2 评论 0原文

我正在使用Informatica智能云服务(iics)智能结构模型来解析我拥有的JSON文件。该文件位于s3 bucket上,其中包含3组。 2组包含大量记录(〜100,000),第三组包含(约10,000个记录)。根据智能结构模型,最大的组包含PK,我可以用它来加入另一组,但是问题是我应该选择哪个组?通常,应该选择具有较低记录的组,但在我的情况下,较低的记录包含外键?这个问题有工作吗?

我是IICS的新手,那么如何解决问题? 任何帮助将不胜感激。提前致谢!

I am using Informatica Intelligent Cloud Services (IICS) Intelligent Structure model to parse the JSON file that I have.The file is located on S3 bucket,and it contains 3 groups. 2 Groups contains lots of records (~100,000) and 3rd group contains (~10,000 records). According to Intelligent structure model, largest group contains PK, which I can use to join the other group, but the issue is for Master and Detail which group should I select ? Usually, group with lower records should be selected but in my case, lower records contains foreign key ? Is there a work around for this issue ?

I am new to IICS so how to resolve the issue ?
Any help will be appreciated. Thanks in advance!

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

蘸点软妹酱 2025-02-13 10:54:25

规则是,使用Samll Rowcount选择表应该是主人,因为在执行过程中,将主源缓存到内存中以进行连接。

话虽如此,您可以使用第三组,较少行作为两个加入的主人。如果其正常联接,则逻辑保持不变,但是如果您选择较少的行和粒度较少的主人,则PURF将有所改善。

Sq_gr1(d)\
Sq_gr3-jnr1(m)->|jnr2----->
Sq_gr2(d)------>/

外连接将需要时间与行计数相等。

Rule is, select table with samll rowcount should be master because during execution, the master source is cached into the memory for joining purpose.

Having said that, can you use 3rd group with less rows as master for both joins like below. If its normal join, logic remains same but perf will improve if you choose master with less rows and less granularity.

Sq_gr1(d)\
Sq_gr3-jnr1(m)->|jnr2----->
Sq_gr2(d)------>/

Outer join will take time equivalent to count of rows.

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文