java连接spark提示序列化错误，但版本已经对应一致？
当我用java连接spark服务端时，出现了下面异常 网上大多说的是jar包不一致，但自己查看了是一致的，spark服务端版本如下客户端maven依赖版本 spark的…
$SPARK_HOME/conf下配置core-site.xml连接远程hive仓库的HDFS不起作用
问题描述 执行spark-submit [pyspark脚本].py，执行到SQL语句时报连接失败错误，在配置使用远程HDFS的情况下依然尝试连接本地的9000端口，根据此错误…
几千万个文本（1TB左右）需要根据规则计算做结构化，用什么大数据架构比较合适？
目前有几千万个文本（1TB左右）的数据存储在sqlserver中。需求是需要根据业务上的规则（位置，前后关键字，语法匹配等方式）对文本进行分析计算，将…
Spark中从Struct字符串如何快速创建Schema
在使用Spark 2.4.0的一个新方法schema_of_json，主要是用来从json格式字符串中推断Schema的，方法有两个重载，源码如下 /** * Parses a JSON string …
序列化后的数据，怎么从Spark读出并转成DataSet或者DataFrame？
想用spark分析zipkin输出的数据，结果第一步就出现困难... =。= 在kafka中有Span类型的数据，格式是Bytes[]，需要通过SpanBytesDecoder这么一个类转…
pyspark写入数据到oracle报错 session_per_user limit错误
最近在用spark做一些数据处理,在通过jdbc写入结果到Oracle时会报上述错误,意为连接数过多.根据当时Oracle设置的空闲连接数来判断,估计实际的连接会有…
如何让spark集群外部package文件缓存到每台集群机器本地？
spark集群初学者。我在用pyspark --packages安装外部库后，每次启动一个app后slave的executor都向master机下载包文件，导致任务在slave机器上运行得…
SparkStream checkpoint 的几个问题
刚用spark streaming，有几个关于checkpoint的疑问： checkpoint有两种，一种是对driver的meta的，一种是对data的。手册上说，只有用stateful transf…
怎么在ubuntu集成开发环境里开始写spark代码？
大家好，打扰一下，困扰了很久的问题。我已经在ubuntu下载弄好了hadoop2.6和spark2.2，hadoop代码在eclipse编写，这个弄好了，就是不知道怎么写spark…
Spark的sortBy函数为什么会生成4个MapPartitionsRDD？
在spark-shell中执行两段程序：第一段sortBy: val list1: List[(String, Int)] = List(("the", 12), ("they", 2), ("do", 4), ("wild", 1), ("and", …
如何用java实现SparkSQL dataframe添加自增序号列？
用spark分页查询数据，普通的sql()的不支持分页的sql语句在网上查资料说可以增加一个序列实现但是基本都是scala语言 // 在原Schema信息的基础上添加…
