spark-cassandra-connector

spark-cassandra-connector

文章 0 浏览 1

为什么Spark-Cassandra-Connector有时会返回日期列的错误数据?

我面对问题,Java的Cassandra连接器可能会返回Cassandra日期列的不正确值。如果我重新加载该应用程序,一切都很好。我不知道为什么会发生这种情况以及…

淡紫姑娘! 2025-02-13 12:13:08 1 0

用Spark在Cassandra中写RDD [实体]

我正在尝试编写一个RDD,其中包含Cassandra中的公共类带有Spark, class Test(private var id: String, private var randomNumber: Integer, private …

情话已封尘 2025-02-11 10:15:24 2 0

Pyspark Transformer无法处理带有空格的数据帧列

使用Pyspark读取来自Cassandra数据库的数据。 软件包: from pyspark.ml.feature import SQLTransformer from transform.Base import Transform 我已…

九歌凝 2025-02-10 02:44:03 2 0

df.show()在pyspark返回“未授权的exception:用户my_user在< table; table system.size_estimates>或任何父母

我正在尝试从Cassandra表中读取记录, 此代码可以正常工作: df = spark.read \ .format("org.apache.spark.sql.cassandra") \ .option("spark.cassan…

内心激荡 2025-02-06 17:12:10 2 0

java.lang.noclassdeffounderror:com/dataStax/spark/connector/columnselector构建jar

我正在使用Spark的Maven Project,将Cassandra用作数据库。 可以使用0错误执行代码,并获得我想要的结果,但是我无法用JAR文件提交项目: 这是我的pom…

草莓酥 2025-01-31 10:44:25 5 0

使用Spark Connector读写AWS Keypace的问题

我正在尝试在AWS Keyspace上编写读写一些数据,但是出现以下消息。 版本: 火花:2.4.6 卡桑德拉连接器:2.5.2 Scala:2.11.10 新版本和旧版本问题也…

何以笙箫默 2025-01-28 13:31:08 7 0

Spark-Cassandra(java.lang.noclassdeffounderror:org/apache/spark/sql/sql/cassandra/package)

我正在使用Spark 3.2.1使用Scala 2.12.5和SBT 1.6.2读取Cassandra 4.0.3的数据框,但我有问题。 这是我的sbt文件: name := "StreamHandler" version …

老娘不死你永远是小三 2025-01-27 19:48:03 7 0

Spark RDD地图如何到Cassandra桌子?

我是Spark的新手,最近我看到一个代码将RDD格式的数据保存到Cassandra Table。但是我无法弄清楚它如何进行列映射。它都不使用案例类,也指定了以下代…

猫卆 2025-01-26 11:20:08 9 0

无法初始化com.datastax.oss.oss.internal.core.config.config.typesafe.typesafedriverconfig的初始化

我正在使用 Azure Databricks 解决方案以连接到 Cassandra 。我的 cassandra 实例在某些特定端口公开,可从 cqlsh 访问。 Cassandra 显示版本返回: […

牵你手 2025-01-24 00:41:54 7 0

您如何使用Spark列出Cassandra的大型Cassandra桌子中的所有分区键?

我们有一个名为Cassandra-Scan的程序,该程序使用Spark-Cassandra-Connector在非常大的表中列出了分区密钥的所有值。该桌子有大约1700万的木薯分区,…

半﹌身腐败 2025-01-19 14:48:33 6 0

如何将 directJoin 与 Spark (scala) 一起使用?

我正在尝试将 directJoin 与分区键一起使用。但是当我运行引擎时,它不使用 directJoin。我想了解我是否做错了什么。这是我使用的代码: 配置设置: v…

怪我鬧 2025-01-18 02:18:44 7 0

Spark Job返回“暂停了超过XXX秒,无法写入client”页面。

我正在从事一项Spark作业,负责从Cassandra DB读取数据,然后在数据上执行一些操作,例如根据条件更新一些记录等。火花适用于某些钥匙空间和tabkes,…

三人与歌 2025-01-18 01:48:40 5 0

从Spark询问Cassandra,将聚合推向Cassandra

我有一个如下所示的 Cassandra 表: my_keyspace.my_table ( part_key_col_1 text, clust_key_col_1 int, clust_key_col_2 text, value_col_1 text PR…

冬天旳寂寞 2025-01-17 20:26:54 4 0

我如何实现 pyspark Cassandra “基于密钥”连接器?

我正在使用 Spark 2.4.7,并且已经实现了普通的 pyspark cassandra 连接器,但有一个用例,我需要实现基于密钥的连接器,我没有得到有关它的有用的博…

铜锣湾横着走 2025-01-16 23:11:48 6 0

将信息保存到 Cassandra 不会保持顺序

我正在使用 Scala 并尝试将我的日历信息从 Spark 保存到 Cassandra。 我开始使用 Cassandra 创建相同的模式: session.execute("CREATE TABLE calenda…

够运 2025-01-09 02:12:33 5 0
更多

推荐作者

Mr.HU

文章 0 评论 0

疯到世界奔溃

文章 0 评论 0

隔纱相望

文章 0 评论 0

萌无敌

文章 0 评论 0

梦幻的味道

文章 0 评论 0

自在安然

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文