Flyway-Databricks 集成

Question

我正在探索用于数据库迁移的Flyway。我想将它与 Databricks 集成。已执行一些任务并尝试克服以下错误。

到目前为止，我已经

1. 在本地计算机上执行了 Flyway 设置。
2. 将 spark-jdbc databricks 驱动程序复制到 Flyway 的 drivers 文件夹
3. 更新了 Flyway 配置

Picked-up the jdbc url from databricks cluster and created a token in databricks. Added these configurations in flyway config.
flyway.url= jdbc:spark://<hostname>:443/<database>;transportMode=http;ssl=1;AuthMech=3;httpPath=<httpPath>;UID=token;PWD=<token>
flyway.driver=com.simba.spark.jdbc.Driver
flyway.user=<dummy_username>
flyway.password=<token>

4. 收到错误

ERROR: Unexpected error
org.flywaydb.core.api.FlywayException: No database found to handle jdbc:spark://<host>:443/<database>
        at org.flywaydb.core.internal.database.DatabaseTypeRegister.getDatabaseTypeForUrl(DatabaseTypeRegister.java:55)
        at org.flywaydb.core.internal.jdbc.DriverDataSource.<init>(DriverDataSource.java:109)
        at org.flywaydb.core.internal.jdbc.DriverDataSource.<init>(DriverDataSource.java:89)
        at org.flywaydb.core.api.configuration.ClassicConfiguration.configure(ClassicConfiguration.java:1653)
        at org.flywaydb.core.api.configuration.FluentConfiguration.configuration(FluentConfiguration.java:1038)
        at org.flywaydb.commandline.Main.main(Main.java:159)

Answer 1

错误 - org.flywaydb.core.api.FlywayException：找不到数据库
处理 jdbc:spark://:443/

出现这个错误是因为驱动版本不同。

尝试使用降级版本。如果不起作用，您可以尝试不同的配置组合。

对于类似的问题，您可以参考此 github 链接