如何链接爆炸和结构场选择？

Question

dataframe：

from pyspark.sql import functions as F
df = spark.createDataFrame([([(1, 2), (3, 4)],)], 'col_name array<struct<c1:int,c2:int>>')

df.show()
# +----------------+
# |        col_name|
# +----------------+
# |[{1, 2}, {3, 4}]|
# +----------------+

df.printSchema()
# root
#  |-- col_name: array (nullable = true)
#  |    |-- element: struct (containsNull = true)
#  |    |    |-- c1: integer (nullable = true)
#  |    |    |-- c2: integer (nullable = true)

i 爆炸阵列（结果是类型struct＆lt; c1：int，c2：int＆gt;）的列。
然后选择每个结构字段（但是i 选择两次）：

df = df.select(
    F.explode('col_name')
).select(
    [f'col.{c}' for c in ('c1', 'c2')]
)

df.show()
# +---+---+
# | c1| c2|
# +---+---+
# |  1|  2|
# |  3|  4|
# +---+---+

df.printSchema()
# root
#  |-- c1: integer (nullable = true)
#  |-- c2: integer (nullable = true)

我知道我可以将第二个选择缩短到'col。*'。但是我仍然有2个选择。

问题。是否有一种方法可以在爆炸仅选择1个选择后选择结构字段？

由于爆炸的结果具有架构struct＆lt; c1：int，c2：int＆gt;，我认为这会起作用...

df = df.select(
    [F.explode('col_name')[c] for c in ('c1', 'c2')]
)

分析感受：col

中没有这样的结构字段C1

Answer 1

使用魔术

df.selectExpr('inline(col_name)').show()

+---+---+
| c1| c2|
+---+---+
|  1|  2|
|  3|  4|
+---+---+