将 Spark 数据帧写入 Impala 表时出现语法错误

Question

我想将 Spark 数据帧写入 Impala 表，但列类型上出现语法错误。

这是 Pyspark 中的代码示例：

df = spark.createDataFrame(
    [
        (1, 'row1'),
        (2, 'row2'),
    ],
    ['col1', 'col2']
)

df.write.format('jdbc').option('url','jdbc:impala://172.25.0.1:21050/default').option('driver','com.cloudera.impala.jdbc41.Driver').option('dbtable','test').save()

这是出现的错误：

Caused by: com.cloudera.impala.support.exceptions.GeneralException: [Cloudera][ImpalaJDBCDriver](500051) ERROR processing query/statement. Error Code: 0, SQL state: TStatus(statusCode:ERROR_STATUS, sqlState:HY000, errorMessage:ParseException: Syntax error in line 1:
CREATE TABLE test ("col1" BIGINT , "col2" TEXT )
                   ^
Encountered: STRING LITERAL
Expected: DEFAULT, IDENTIFIER

CAUSED BY: Exception: Syntax error
), Query: CREATE TABLE test ("col1" BIGINT , "col2" TEXT ).
        ... 50 more

我尝试了多种替代方法来创建 Spark 数据帧和使用 JDBC 的写入模式，但我总是收到此错误。我该如何解决这个问题？