NoclassDeffoundError在使用DataProc群集中使用AD验证写入Azure SQL时。但是在本地工作正常

Question

我写了Spark Scala代码。我有一个奇怪的问题，可以使用DataProc群集中的AD身份验证从Azure SQL成功阅读。但是我在写信给Azure SQL时会遇到以下错误。

NoClassDefFoundError: com/microsoft/aad/adal4j/AuthenticationException

而且我只有在DataProc群集中运行时才会遇到此错误。同一代码在我的本地机器中正常工作。

更明确的是，我在DataProc中也阅读时遇到了同样的错误，然后我使用此通过使用Maven Shade插件来重新安置冲突的库来解决。但是现在，我在写作时遇到了同样的错误。不知道怎么了。为什么写入DataProc中的写入失败？请帮助

代码示例：

从Azure SQL读取（工作正常）：

spark.read
      .format("com.microsoft.sqlserver.jdbc.spark")
      .option("driver", "com.microsoft.sqlserver.jdbc.SQLServerDriver")
      .option("encrypt", "false")
      .option("url", url)
      .option("database", database)
      .option("user", user)
      .option("password", password)
      .option("query",  query)
      .option("authentication", "ActiveDirectoryPassword")
      .load()

写入Azure SQL（DataProc中的失败）：

df.write
      .format("jdbc")
      .mode(mode)
      .option("url", url)
      .option("database", database)
      .option("user", user)
      .option("password", password)
      .option("dbtable",  table)
      .option("authentication", "ActiveDirectoryPassword")
      .save()

Maven Shade插件：

                            <relocation>
                                <pattern>com</pattern>
                                <shadedPattern>repackaged.com.microsoft</shadedPattern>
                                <includes>
                                    <include>com.microsoft.**</include>
                                </includes>
                            </relocation>

其他Azure依赖关系：

<dependency>
            <groupId>com.microsoft.azure</groupId>
            <artifactId>msal4j</artifactId>
            <version>1.10.0</version>
        </dependency>

        <dependency>
            <groupId>com.microsoft.azure</groupId>
            <artifactId>adal4j</artifactId>
            <version>1.6.7</version>
        </dependency>

        <dependency>
            <groupId>com.microsoft.azure</groupId>
            <artifactId>spark-mssql-connector_2.12</artifactId>
            <version>1.2.0</version>
        </dependency>

Answer 1

我通过添加.option（“驱动程序”，“ com.microsoft.sqlserver.jdbc.sqlserverdriver”）在写操作中解决了问题，从而解决了问题。找到该问题突出显示了