如何在 Azure Delta Lake 上创建外部表（类似于 Hive）

Question

如何在 Azure 数据湖存储上创建外部增量表？我目前正在开展一个迁移项目（从 Pyspark/Hadoop 到 Azure）。我找不到太多有关在 Azure Delta take 中创建非托管表的文档。以下是我目前能够在 Pyspark/Hive/HDFS 设置中执行的一系列操作，想知道如何在 Azure 上建立相同的操作。

按顺序执行的操作 -

1. 创建数据帧 DF
2. Drop Hive 外部表（如果存在），使用 DF.write.insertInto("table") 将数据帧 DF 加载到此外部表
3. 创建数据帧 DF1
4. Drop Hive 外部表（如果存在） ，使用 DF1.write.insertInto("table") 将数据帧 DF1 加载到此外部表

即使我在加载第二个数据帧之前执行“如果存在则删除表”，如果我查询在步骤 4 之后，我可以看到两个数据帧中的内容，因为我只是“删除”表结构而不是实际数据（Hive 外部表）。它看起来是这样的 -

>>> df = spark.createDataFrame([('abcd','xyz')], ['s', 'd'])
>>> df1 = spark.createDataFrame([('abcd1','xyz1')], ['s', 'd'])
>>> spark.sql("CREATE EXTERNAL TABLE IF NOT EXISTS mydb.test_table (s string,d string) ROW FORMAT SERDE 'org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe' STORED AS INPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat' OUTPUTFORMAT 'org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat' LOCATION 'hdfs://system/dev/stage/test_table'")
>>> df.write.insertInto("mydb.test_table",overwrite=True)
>>> spark.sql('DROP TABLE IF EXISTS mydb.test_table')
>>> df1.write.insertInto("mydb.test_table",overwrite=False)
>>> spark.sql("select * from mydb.test_table").show()
+-----+----+
|    s|   d|
+-----+----+
|abcd1|xyz1|
| abcd| xyz|
+-----+----+

我正在尝试使用 Azure Delta Lake 表执行类似的操作，步骤如下 -

1. 创建数据帧。
2. 将数据帧保存在 ADLS 中（可能这就是我在这里做错的事情，我应该使用挂载 dbfs 路径而不是容器吗？）
3. 在此路径之上创建非托管表。

这是我的 Databricks 笔记本中的代码。

df = spark.createDataFrame([('abcd','xyz')], ['s', 'd'])
table_path = f"abfss://[email protected]/stage/test_table"
df.write.format("delta").mode("overwrite").option("path",table_path)
spark.sql("CREATE TABLE test_table USING DELTA LOCATION 'abfss://[email protected]/stage/test_table'")

但是，它没有在位置 table_path 中写入数据帧，并且最后一步无法创建表（可能这里需要 dbfs: 安装路径？）。如何使用非托管 Delta Lake 表执行类似的操作？

Answer 1

CREATE EXTERNAL TABLE IF NOT EXISTS my_table (name STRING, age INT)
  COMMENT 'This table is created with existing data'
  LOCATION 'spark-warehouse/tables/my_existing_table'

使用上述方法像蜂巢方式一样在三角洲湖中创建外部桌子。

有关完整的参考，请检查下面的Web文档链接

CREATE TABLE [IF NOT EXISTS] [db_name.]table_name
  [(col_name1 col_type1 [COMMENT col_comment1], ...)]
  USING data_source
  [OPTIONS (key1 [ = ] val1, key2 [ = ] val2, ...)]
  [PARTITIONED BY (col_name1, col_name2, ...)]
  [CLUSTERED BY (col_name3, col_name4, ...) INTO num_buckets BUCKETS]
  [LOCATION path]
  [COMMENT table_comment]
  [TBLPROPERTIES (key1 [ = ] val1, key2 [ = ] val2, ...)]
  [AS select_statement]

[位置路径]有助于提供外部路径。本条款将负责外表创建