如何解决“java.lang.ClassNotFoundException”使用 databricks-connect 运行 Scala Spark 项目时？

Question

目前我正在学习如何使用databricks-connect在本地使用IDE开发Scala代码。 databricks-connect 的设置如 此处所述 是成功的。这是一个假设，因为我可以毫无问题地对集群运行 PySpark 代码。

但是，我很难运行 Scala 中提供的 scala 示例演示对象。我收到 java.lang.ClassNotFoundException：这里是异常的完整跟踪：

我的 build.sbt 严格遵循 Databricks-connect 演示提供的内容：

scalaVersion := "2.12.15"
name := "hello-world"
organization := "ch.epfl.scala"
version := "1.0"
//autoScalaLibrary := true
libraryDependencies += "org.scala-lang.modules" %% "scala-parser-combinators" % "2.1.1"
unmanagedBase := new java.io.File("/home/clh78p/.local/lib/python3.8/site-packages/pyspark/jars")
mainClass := Some("Main")

我的集群配置是更新，我密切关注以下 databricks-连接客户端安装手册准确。

我读过这里的帖子和这个帖子。它们让我觉得我缺少一些 jar 或库依赖项，而演示中可能未涵盖这些依赖项？我确保 scala 版本匹配，所以这应该不是问题。欢迎任何建议。

请注意，我将 VS Code 与 WSL2 和 Databricks Azure 选项结合使用。我目前正在学习 Scala 以取代 PySpark Notebooks。