我试图使用Spark和Writing作为Delta Lake（GCS中的路径）从GCS存储桶中读取CSV文件，但无法做写操作

Question

我在Intellij中尝试，并在pom.xml文件中添加了依赖关系。

        <dependency>
            <groupId>io.delta</groupId>
            <artifactId>delta-core_2.12</artifactId>
            <version>1.2.1</version>
        </dependency>

以下是使用的代码：

val df_gcs = spark.read.format("csv").csv(sourcepath )

df_gcs.write.format("delta").save(save_path)

在以下错误：

线程中的异常“ main” java.lang.noclassdeffounderror：org/apache/spark/sql/execution/command/leafrunnablecommand at Java.base/java.lang.classloader.defineclass1（本机方法） at Java.base/java.lang.classloader.defineclass（classLoader.java:1017） 在java.base/java.security.secureclassloader.defineclass（SecureClassLoader.java:174） 在java.base/jdk.internal.loader.builtinclassloader.defineclass（buildinclassloader.java:800） 在java.base/jdk.internal.loader.builtinclassloader.findclassonclasspathornull（buildinclassloader.java:698） at Java.base/jdk.internal.loader.builtinclassloader.loadclassornull（buildinclassloader.java:621） at Java.base/jdk.internal.loader.builtinclassloader.loadclass（buildinclassloader.java:579） at Java.base/jdk.internal.loader.classloaders $ appclassloader.loadclass（classloaders.java:178） at Java.base/java.lang.classloader.loadclass（classLoader.java:522） 在org.apache.spark.sql.delta.sources.deltadatasource.咖啡（DeltadataTasource.Scala：150） atrg.apache.spark.sql.execution.datasources.saveintodatasourcecommand.run（saveintodataSourcecommand.scala：46） atrg.apache.spark.sql.execution.command.command.execudedCommandExec.SideeffectResult $ lzyCompute（commands.sscala：70） at org.apache.spark.sql.execution.command.execudedCommandExec.sideeffectResult（commands.scala：68） at org.apache.spark.sql.execution.command.execudedCommandExec.doexecute（commands.sscala：90） atorg.apache.spark.sql.execution.sparkplan。$ anonfun $ execute $ 1（SparkPlan.Scala：180） 请访问org.apache.spark.sql.execution.sparkplan。$ anonfun $ executeQuery $ 1（SparkPlan.Scala：218） atrg.apache.spark.rdd.rddoperationscope $ .withScope（rddoperationscope.scala：151） atrg.apache.spark.sql.execution.sparkplan.executequery（SparkPlan.Scala：215） atrg.apache.spark.sql.execution.sparkplan.execute（SparkPlan.Scala：176） 请访问org.apache.spark.sql.execution.queryexecution.tordd $ lzyCompute（queryexecution.scala：132） atrg.apache.spark.sql.execution.queryexecution.tordd（queryexecution.scala：131） 请访问org.apache.spark.sql.dataframewriter。 请访问org.apache.spark.sql.execution.sqlexecution $。$ anonfun $ withnewexecutionId $ 5（sqlexecution.scala：103） atrg.apache.spark.sql.execution.sqlexecution $ .withsqlConfPropaged（sqlexecution.scala：163） 请访问org.apache.spark.sql.execution.sqlexecution $。$ anonfun $ withnewexecutionId $ 1（sqlexecution.scala：90） atorg.apache.spark.sql.sparksession.vithactive（SparkSession.Scala：775） atrg.apache.spark.sql.execution.sqlexecution $ .WithNewExeCutionId（sqlexecution.scala：64） atrg.apache.spark.sql.dataframewriter.runco​​mmand（dataframewriter.scala：989） atrg.apache.spark.sql.dataframewriter.savetov1source（dataframewriter.scala：438） atrg.apache.spark.sql.dataframewriter.saveinternal（dataframeWriter.scala：409） 请访问org.apache.spark.sql.dataframewriter.save（dataFrameWriter.scala：293）

Answer 1

将版本更改为1.0.0，并解决了问题。

    <dependency>
        <groupId>io.delta</groupId>
        <artifactId>delta-core_2.12</artifactId>
        <version>1.0.0</version>
    </dependency>