如何使用 pandasql 在 pandas DataFrames 上执行复杂的条件外连接

Question

这个问题花了我很长时间来解决，我想分享我的解决方案。这是问题。

我们有2个PANDAS数据框，需要在非常复杂的条件下外部连接。这是我的：

condition_statement = """
    ON (
        A.var0 = B.var0
        OR (
            A.var1 = B.var1
            AND (
                A.var2 = B.var2
                OR A.var3 = B.var3
                OR A.var4 = B.var4
                OR A.var5 = B.var5
                OR A.var6 = B.var6
                OR A.var7 = B.var7
                OR (
                    A.var8 = B.var8
                    AND A.var9 = B.var9
                )
            )
        )
    )
"""

在大熊猫中这样做将是一场噩梦。

我喜欢使用Pandasql软件包进行大多数数据框架按摩。它允许您在本地环境中的数据范围顶部运行SQL查询。

Pandasql的问题在于它在SQLite引擎上运行，因此您不能做正确或完整的外部连接。

那么您如何解决这个问题？

Answer 1

那么，您可以通过两个 LEFT 连接、一个条件和一个 UNION 来实现 FULL OUTER 连接。

首先，声明一个包含要检索的列的代码片段：

select_statement = """
    SELECT 
        A.var0
        , B.var1
        , COALESCE(A.var2, B.var2) as var2
"""

接下来，构建一个表示 A 中所有值为 NULL 的条件。我使用 DataFrame 中的列构建了我的：

where_a_is_null_statement = f"""
    WHERE 
    {" AND ".join(["A." + col + " is NULL" for col in A.columns])}
"""

现在，使用所有这些片段执行 2-LEFT-JOIN-with-UNION 技巧：

sqldf(f"""
    {select_statement}
    FROM A
    LEFT JOIN B
    {condition_statement}
    UNION
    {select_statement}
    FROM B
    LEFT JOIN A
    {condition_statement}
    {where_a_is_null_statement}
""")