ucanaccess继续重复列名作为数据

Question

我在ucanaccess 5.0.1 in databricks 9.1lts（spark 3.1.2，scala 2.1.2），出于任何原因，我使用以下代码来阅读 DB表它一直将列名称作为记录本身（我尝试添加更多记录并获得相同的结果）

单个记录访问

ID  Field1  Field2
2   key1    column2
3   key2    column2-1

。

connectionProperties = {
  "driver" : "net.ucanaccess.jdbc.UcanaccessDriver"
}
 
url = "jdbc:ucanaccess:///dbfs/mnt/internal/Temporal/Database1.accdb"
df = spark.read.jdbc(url=url, table="Table1", properties=connectionProperties)

结果看起来这样：

df.printSchema()
df.count()

root
 |-- Field1: string (nullable = true)
 |-- Field2: string (nullable = true)
 |-- ID: string (nullable = true)
Out[21]: 2

df.show()
+------+------+---+
|Field1|Field2| ID|
+------+------+---+
|Field1|Field2| ID|
|Field1|Field2| ID|
+------+------+---+

有什么想法/建议吗？

Answer 1

如果您的数据在第一行中具有列名，则可以尝试header = true，将第一行设置为列标题。

示例代码 -

df = spark.read.jdbc( url = url, table="Table1", header = true, properties= connectionProperties)

但是，如果您的数据没有列标题，则需要明确定义列名，然后将其分配为列标题。

示例代码 -

columns = ["column_name_1"," column_name_2"," column_name_3"]
df = spark.read.jdbc( url = url, table="Table1”, schema=columns, properties= connectionProperties)

您也可以参考此答案 Alberto Bonsanto

参考 - https://learn.microsoft.com/en-comrosoft.com/en-en-us/azure/ databricks/data/data-ources/sql-databases＃read-data-from-jdbc

Answer 2

事实证明，JDBC代码中存在一个错误（[https://stackoverflow.com/questions/631777736/spark-read-ap-read-as-jdbc-redurn-redurn-rown-all-rows-as-columns-name-name]）

我添加了以下内容代码，现在UCanaccess驱动程序正常工作：

%scala
import org.apache.spark.sql.jdbc.JdbcDialect
import org.apache.spark.sql.jdbc.JdbcDialects
private case object HiveDialect extends JdbcDialect {
  override def canHandle(url : String): Boolean = url.startsWith("jdbc:ucanaccess")
  override def quoteIdentifier(colName: String): String = {
    colName.split('.').map(part => s"`$part`").mkString(".")
  }
}

JdbcDialects.registerDialect(HiveDialect)

然后Display（DF）将显示

|Field1 |Field2 |ID     |
|:------|:------|:----- |
|key1   |column2 |  2|
|key2   |column2-1| 3|