spark的开发环境应该是怎样的
在看spark的mlib包，用的是Java语言，发现把包导入后本地机器直接run就可以跑出结果，看日志感觉是每次都启动spark进程的，helloworld级别的跑一次也…
pyspark编程对如下两个dataframe进行查询操作，如何提高效率?
1、有两个DataFrame：df1，df2都有共同的字段ACCTNO，df1中每行的ACCTNO字段唯一，需要遍历df1中的ACCTNO字段，并根据这些ACCTNO字段查询df2中对应的…
spark streaming 集成 kafka，使用window时出现错误
当使用 spark streaming 2.0.0 集成 kafka 0.10.0时出现 KafkaConsumer 多线程争用的问题。部分代码如下： val ssc = new StreamingContext(sc, Seco…
spark core 有没有类似连表查询的操作
问题是这样的 val list= List((1,2),(3,5),(6,9)) val list2= List((3,4),(5,9),(9,12)) 这两个list我写入rdd，然后想让list每一个元素的value查找li…
spark yarn cluster 模式提交任务一直报错，求教
1、用 yarn cluster 模式提交任务一直报这个错误 错误: 找不到或无法加载主类 org.apache.spark.deploy.yarn.ApplicationMasterspark版本 2.0.2 hadoo…
如何在SparkSQL的UDF中使用外部全局变量？
测试代码如下： object GuangBoTest { var y: Broadcast[String] = null def main(args: Array[String]): Unit = { val sparkSession = SparkSession…
spark读入文件，报错 java.io.IOException:No input paths specified in job
想尝试着处理一下文本，结果都载入不进来。。。文件路径肯定没问题求大神指教 fileName = "file:///Users/liuchong/Desktop/Animal Farm.txt" liuDF …
Spark shuffle reducer 个数是怎么确定的?
Spark 菜鸟请教个问题..大牛轻拍~~ 下面是我的个人理解...好混乱, 想不通, 求高人引导下. reducer 的数量由 partition 决定, 假设我的数据有 1000 M,…
不同机器上docker创建的虚拟机器怎么相互访问
我在A机器上用docker虚拟化创建了10台linux机器。B机器上同样虚拟化10台机器。我要搭建spark环境，B和A上的虚拟机可以相互通过ssh访问吗？…
一个简单的统计字母行号的代码打包后使用spark-submit提交会报错
编译器：IDEA 代码如下： 使用sbt compile和sbt package进行打包，过程如下图： 最后，我使用spark-submit提交我的jar，进行运行。就出现了报错，如…
Spark Distinct操作的DAG问题
问题 我创建了一个分成两个节点的List val list = sc.parallelize(List(1,1,1,1,2,2,2,3,3,4),2) 现在对其进行distinct操作 list.distinct.collect …
用IDEA提交spark程序，yarn-client模式报错！（用ambari搭建的环境）
在网上看了一些关于此类的文章，自己在调试的时候碰到了如下问题： 添加了相关属性，还是会做上传jar包的动作 conf.set("spark.yarn.preserve.stagin…
求高手点拨一个Java SWING的IM系统实验的错误解决方案。
高手，您好： 小弟遇到的代码场景为： 制作了一个Java SWING技术结合Socket技术实现的IM通信实验。 通信为双向全双工通信，通信方分为S端和C端。 下…
谁能说明一下，oralce->hbase->redis->spark整个流程，如果可以，流程图说一下，万分感谢
万分感谢oralce->hbase->redis->spark整个流程，如果可以，流程图说一下…
