如何在databricks集群中安装spark-redis相关的jar？

Question

我正在尝试从 databricks 连接到 Azure redis 缓存。

我已经从 databricks 中的 maven 包安装了这个包 com.redislabs:spark-redis:2.3.0 。我使用下面的代码创建了一个 Spark 会话

SparkSession\
.builder\
.appName("myApp")\ 
.config("spark.redis.host", "my host")\ 
.config("spark.redis.port", "6379")\
.config("spark.redis.auth", "passwd")\ 
.getOrCreate()

但是当我运行 df.write.format("org.apache.spark.sql.redis").option("table", "people").option("key .column", "name").save()

我收到以下错误。

*Py4JJavaError: An error occurred while calling o390.save.
: java.lang.ClassNotFoundException: 
Failed to find data source: org.apache.spark.sql.redis. Please find packages at
http://spark.apache.org/third-party-projects.html*

您能否让我知道安装所有必要的库/jar 以访问 databricks 中的 redis 的详细步骤。

我在 spark-redis python doc 但我不知道如何在 databricks 中运行它。

$ ./bin/pyspark --jars <path-to>/spark-redis-<version>-jar-with-dependencies.jar

另外请告诉我最新的 Spark-Redis 版本是什么。

Answer 1

Redis 有一个 Spark 包，您可以将其下载并附加到您的集群

Redis 有一个 Spark 包，您可以下载它并将其 ： 笔记本展示了如何在 Azure Databricks 中将 Redis 与 Apache Spark 结合使用。

有关更多详细信息，请参阅Azure Databricks - Redis。