将火花数据帧插入分区表

Question

我已经看到了用于插入蜂巢表的方法，例如insertinto（table_name，oftrite = true，但我无法弄清楚如何处理下面的方案。

对于第一次运行，类似的数据框架需要保存在表格中，由“ date_key”分区

+---+----------+
| id|  date_key|
+---+----------+
|  1|202201    |
|  2|202203    |
|  3|202201    |
+---+----------+

。 想使用date_key将新数据附加到其相应

+---+----------+
| id|  date_key|
+---+----------+
|  4|202204    |
|  5|202203    |
|  6|202204    |
+---+----------+

，我

1. 分区
2. 的 例如上面的样本输入？

在每次运行中，

都将来自多个分区的新数据， 我无法使用df.write.partitionby（“ date_key”）。insertinto（table_name），因为有一个错误，说insertinto无法与一起使用。 partitionby。

Answer 1

在我的示例中，第一次运行将创建新的分区表数据。 C2是分区列。

df1 = spark.createDataFrame([
    (1, 'a'),
    (2, 'b'),
], 'c1 int, c2 string')
df1.show()
df1.write.partitionBy('c2').mode('overwrite').saveAsTable('data')

/
  c2=a
    part-00000-7810a4aa-a5a1-4c4f-a09a-ef86a66041c9.c000.snappy.parquet
  c2=b
    part-00000-7810a4aa-a5a1-4c4f-a09a-ef86a66041c9.c000.snappy.parquet

第二次运行，您不要需要任何花哨的东西，只需附加和insertinto。 Spark知道您有C2是分区列，并且它将不必通过partitionby，

df2 = spark.createDataFrame([
    (1, 'a'),
    (3, 'c'),
], 'c1 int, c2 string')
df2.show()
df2.write.mode('append').insertInto('data')

/
  c2=a
    part-00000-7810a4aa-a5a1-4c4f-a09a-ef86a66041c9.c000.snappy.parquet
    part-00000-dcd9029e-8c65-4397-bca5-ab2691ece7ff.c000.snappy.parquet
  c2=b
    part-00000-7810a4aa-a5a1-4c4f-a09a-ef86a66041c9.c000.snappy.parquet
  c2=c
    part-00000-dcd9029e-8c65-4397-bca5-ab2691ece7ff.c000.snappy.parquet

Answer 2

如果表是外部表，则可以使用以下代码将数据写入外部分区表，

df.write.partitionBy("date_key").mode("append").option("path","/path/to/external/table/on/hdfs").saveAsTable("table_name_here")

如果它是蜂巢托管表
如下

df.write.partitionBy("date_key").mode("append").saveAsTable("tableName")