scala的distinct函数怎么用？
我这样写:val validRDD = unionRDD.map(item => { val arr = item.split(' ') ((arr(1), arr(2)), arr(3).toDouble) }) .distinct()unionRDD中是用…
create view 或者create table在Spark sql中的生命周期是多久？
想问下通过Spark sql客户端提交的sql创建的view 或者 table 的生命周期是多久？是只是当前这次执行流程中？ 还是下次在进入spark sql客户端还存在？ …
架设Hudi的docker项目，spark连接不上
RT 用docker架设了一个hudi。但是spark死活连不上，一直报错。这是测试代码SparkSession session = SparkSession.builder() .master("spark://sparkma…
scala中的spark sql有多快？
数据库为hive，执行一句group by 语句，测试不同方式的效率：第一种，用impalajdbc方式，返回arraylist，耗时10s第二种，用spark.format.jdbc方式，返…
spark大数据分析 爬虫存到csv有的列是list 请问应该怎么存到hive？直接存list吗？该怎么分析呢？
完全没有头绪 目前自己定的流程是爬虫-》hdfs-》通过scala处理后存hive-》scala分析-》mysql…
pyspark下foreachPartition()向hbase中写数据，数据没有完全写入hbase中
1.问题描述在使用pyspark过程中，遇到了一个向hbase中写数据的问题，在foreachPartition()方法中使用happybase对每个partition中的数据进行写入hbase…
hadoop spark 大数据的分布式通信原理 有个疑问？求指教一下
hadoop 和spark 都是有rpc 通信和kafka，分布式要么是rpc 要么是消息队列，为啥 大数据这两种都有呢？为啥要一种不就可以了?难道是为了同步和异步处理…
求算法计算，100个任务两个不同效率的人同时执行，最后总耗时
题目可能有些拗口，这里简单说明一下。 假设，有一个工程，里面划分了 100 个任务，每一个任务的大小都是一样的。这时候有 A，B两个工人，A 工人每天…
在 Spark中为什么task不是按照顺序执行
我在 spark-shell 下面运行一个最简单的 wordcount 程序， val text = spark.read.textFile("/datasets/wordcount_512m.txt") text.flatMap(line =&g…
