在雪花中重群落

Question

我正在研究雪花，需要在每次应用程序中将聚类应用于表格。如果更改了聚类信息，它将更改群集键，并且还将触发重簇，但是当群集信息不更改时会发生什么，如果列与当前群集密钥相同，则我们使用Alter语句添加群集键仍然是群集？

例如，

考虑到tablea，我现在使用Alter Table Table cluster添加了群集密钥（名称）

，一段时间后，我重新申请了，相同的查询是否会导致重群集？

Answer 1

@Manish您似乎对群集键感到困惑。假设您有一个事实表，大多数查询看起来像这样...

select ...
from big_table
where date_id between <Date Start> and <Date End>;

您可以考虑更改表并使用以下方式创建cluster_key：

alter table big_table 
cluster by date_id;

在后台，自动群集服务将按date_id群集您的表。

无需再次应用群集密钥。

但是，您需要小心。请记住，雪花的以下建议：

1. 则仅考虑1TB或更多群集上的群集键
2. 如果您发现partitions_scanned aptitions_total， 。 IE。您目前没有消除分区，这导致查询响应时间较差。
3. 确保群集键以谓词出现在查询的Where子句中。
4. 警惕将群集键放在经常更新的大部分分区的桌子上。这可能会导致高凝聚成本，因为更新会破坏聚类序列。

使用以下方式检查表上的现有聚类：

select system$clustering_information('big_table');

如果您的结果看起来像这样 - 您的表非常好：

select system$clustering_information('ORDERS_BY_DAY', '(O_ORDERDATE)');
{
"cluster_by_keys" : "LINEAR(O_ORDERDATE)",
"total_partition_count" : 6648,
"total_constant_partition_count" : 6648,
"average_overlaps" : 0.0,
"average_depth" : 1.0,
"partition_depth_histogram" : {
"00000" : 0,
"00001" : 6648,
"00002" : 0,
"00003" : 0,
"00004" : 0,
"00005" : 0,
"00006" : 0,
"00007" : 0,
"00008" : 0,
"00009" : 0,
"00010" : 0,
"00011" : 0,
"00012" : 0,
"00013" : 0,
"00014" : 0,
"00015" : 0,
"00016" : 0
}
}

但是，如果您的桌子看起来像这样，则将其严重聚类，并且您应该考虑创建一个群集键。

select system$clustering_information('snowflake_sample_data.tpcds_sf100tcl.web_sales','ws_web_page_sk');

{
"cluster_by_keys" : "LINEAR(ws_web_page_sk)",
"total_partition_count" : 300112,
"total_constant_partition_count" : 0,
"average_overlaps" : 300111.0,
"average_depth" : 300112.0,
"partition_depth_histogram" : {
"00000" : 0,
"00001" : 0,
"00002" : 0,
"00003" : 0,
"00004" : 0,
"00005" : 0,
"00006" : 0,
"00007" : 0,
"00008" : 0,
"00009" : 0,
"00010" : 0,
"00011" : 0,
"00012" : 0,
"00013" : 0,
"00014" : 0,
"00015" : 0,
"00016" : 0,
"524288" : 300112
}
}

您需要查找的关键指示器是

“平均_depth”，

这表明查询将扫描查询给定值的平均分区数。

例如：

select ...
from big_table
where date_id = to_date('22-May-2022','DD-Mon-YYYY');

如果您执行上述并返回：

"average_depth" : 300112.0

这平均表示上述查询需要300,000个分区以查找值。 If however it says:

"average_depth" : 10

This indicates less than 10 partition reads.在一张大桌子上（有超过300,000个分区），非常聚集。

只要您的“平均_depth”为10或以下，您就可以了。但是，请记住，我们假设大多数查询都受date_id的限制。

综上所述。如果您认为已经确定了群集密钥的有效案例，则应创建一次，然后监视成本。

您还应该检查查询性能在击中表并通过群集键过滤的查询上得到改进 - 在这种情况下，date_id。

Answer 2

谢谢你的问题。

因此，要重塑，您的意思是说有一个表A上有“名称”列上的群集键。现在，您在“类”列上添加另一个聚类键。

如果我上述理解是正确的，那肯定会群集。想想这些数据存储在微分区中，并根据聚类键进行安排。如果添加了另一个聚类键，它将必须基于群集键在微分段中再次对数据进行排序/重新安排数据。