为什么Spark-Cassandra-Connector有时会返回日期列的错误数据?
我面对问题,Java的Cassandra连接器可能会返回Cassandra日期列的不正确值。如果我重新加载该应用程序,一切都很好。我不知道为什么会发生这种情况以及…
用Spark在Cassandra中写RDD [实体]
我正在尝试编写一个RDD,其中包含Cassandra中的公共类带有Spark, class Test(private var id: String, private var randomNumber: Integer, private …
Pyspark Transformer无法处理带有空格的数据帧列
使用Pyspark读取来自Cassandra数据库的数据。 软件包: from pyspark.ml.feature import SQLTransformer from transform.Base import Transform 我已…
df.show()在pyspark返回“未授权的exception:用户my_user在< table; table system.size_estimates>或任何父母
我正在尝试从Cassandra表中读取记录, 此代码可以正常工作: df = spark.read \ .format("org.apache.spark.sql.cassandra") \ .option("spark.cassan…
java.lang.noclassdeffounderror:com/dataStax/spark/connector/columnselector构建jar
我正在使用Spark的Maven Project,将Cassandra用作数据库。 可以使用0错误执行代码,并获得我想要的结果,但是我无法用JAR文件提交项目: 这是我的pom…
使用Spark Connector读写AWS Keypace的问题
我正在尝试在AWS Keyspace上编写读写一些数据,但是出现以下消息。 版本: 火花:2.4.6 卡桑德拉连接器:2.5.2 Scala:2.11.10 新版本和旧版本问题也…
Spark-Cassandra(java.lang.noclassdeffounderror:org/apache/spark/sql/sql/cassandra/package)
我正在使用Spark 3.2.1使用Scala 2.12.5和SBT 1.6.2读取Cassandra 4.0.3的数据框,但我有问题。 这是我的sbt文件: name := "StreamHandler" version …
Spark RDD地图如何到Cassandra桌子?
我是Spark的新手,最近我看到一个代码将RDD格式的数据保存到Cassandra Table。但是我无法弄清楚它如何进行列映射。它都不使用案例类,也指定了以下代…
无法初始化com.datastax.oss.oss.internal.core.config.config.typesafe.typesafedriverconfig的初始化
我正在使用 Azure Databricks 解决方案以连接到 Cassandra 。我的 cassandra 实例在某些特定端口公开,可从 cqlsh 访问。 Cassandra 显示版本返回: […
您如何使用Spark列出Cassandra的大型Cassandra桌子中的所有分区键?
我们有一个名为Cassandra-Scan的程序,该程序使用Spark-Cassandra-Connector在非常大的表中列出了分区密钥的所有值。该桌子有大约1700万的木薯分区,…
如何将 directJoin 与 Spark (scala) 一起使用?
我正在尝试将 directJoin 与分区键一起使用。但是当我运行引擎时,它不使用 directJoin。我想了解我是否做错了什么。这是我使用的代码: 配置设置: v…
Spark Job返回“暂停了超过XXX秒,无法写入client”页面。
我正在从事一项Spark作业,负责从Cassandra DB读取数据,然后在数据上执行一些操作,例如根据条件更新一些记录等。火花适用于某些钥匙空间和tabkes,…
从Spark询问Cassandra,将聚合推向Cassandra
我有一个如下所示的 Cassandra 表: my_keyspace.my_table ( part_key_col_1 text, clust_key_col_1 int, clust_key_col_2 text, value_col_1 text PR…
我如何实现 pyspark Cassandra “基于密钥”连接器?
我正在使用 Spark 2.4.7,并且已经实现了普通的 pyspark cassandra 连接器,但有一个用例,我需要实现基于密钥的连接器,我没有得到有关它的有用的博…
将信息保存到 Cassandra 不会保持顺序
我正在使用 Scala 并尝试将我的日历信息从 Spark 保存到 Cassandra。 我开始使用 Cassandra 创建相同的模式: session.execute("CREATE TABLE calenda…
- 共 1 页
- 1