将SAS自内在加入到Pyspark

发布于 2025-02-10 21:28:33 字数 240 浏览 1 评论 0原文

我一直在尝试将以下SAS代码转换为Pyspark语法，但是我无法弄清楚日期。

inner join (select var1, max(date) as max_date
from table
group by var1) as recent
on a.var1 = recent.var1 and a.date = recent.date

原文

I have been trying to convert the below SAS code into PySpark syntax, but I haven't been able to figure out the dates.

inner join (select var1, max(date) as max_date
from table
group by var1) as recent
on a.var1 = recent.var1 and a.date = recent.date

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

心凉 2025-02-17 21:28:33

对于Spark中的自我加入，建议对双方使用别名。

from pyspark.sql import functions as F
df = (table.alias('a')
    .join(
        table.groupBy('var1').agg(F.max('date').alias('date')).alias('recent'),
        (F.col("a.var1") == F.col("recent.var1")) & (F.col("a.date") == F.col("recent.date")),
        'inner')
)

如果您不需要重复的列，请通过从第一个数据框架中选择所有内容来将其删除。

from pyspark.sql import functions as F
df = (table.alias('a')
    .join(
        table.groupBy('var1').agg(F.max('date').alias('date')).alias('recent'),
        (F.col("a.var1") == F.col("recent.var1")) & (F.col("a.date") == F.col("recent.date")),
        'inner')
    .select('a.*')
)

For self joins in Spark, it's recommended to use alias for both sides.

from pyspark.sql import functions as F
df = (table.alias('a')
    .join(
        table.groupBy('var1').agg(F.max('date').alias('date')).alias('recent'),
        (F.col("a.var1") == F.col("recent.var1")) & (F.col("a.date") == F.col("recent.date")),
        'inner')
)

If you don't need duplicated columns, remove them by selecting everything from the first dataframe.

from pyspark.sql import functions as F
df = (table.alias('a')
    .join(
        table.groupBy('var1').agg(F.max('date').alias('date')).alias('recent'),
        (F.col("a.var1") == F.col("recent.var1")) & (F.col("a.date") == F.col("recent.date")),
        'inner')
    .select('a.*')
)

回复收藏 0 原文

~没有更多了~