spark-shell

文章 9 浏览 19

create view 或者create table在Spark sql中的生命周期是多久？

想问下通过Spark sql客户端提交的sql创建的view 或者 table 的生命周期是多久？是只是当前这次执行流程中？还是下次在进入spark sql客户端还存在？ …

好多鱼好多余 2022-09-13 01:20:51 46 0

在 Spark中为什么task不是按照顺序执行

我在 spark-shell 下面运行一个最简单的 wordcount 程序， val text = spark.read.textFile("/datasets/wordcount_512m.txt") text.flatMap(line => …

浮生未歇 2022-09-12 02:40:49 41 0

启动spark-shell时报value spark not found错误，请问是什么原因（因为昨天启动还是好的）？

java.lang.IllegalArgumentException: Error while instantiating 'org.apache.spark.sql.hive.HiveSessionStateBuilder': at org.apache.spark.sql.…

葬花如无物 2022-09-06 01:11:22 23 0

I have some question on spark.

I'm running an example using this command: ./bin/run-example org.apache.spart.examples.SparkPi local[3] Spark Command: /usr/lib/jvm/java-7-…

暗恋未遂 2022-09-03 07:24:07 19 0

怎样在spark中使用在spark-package下载的包？

大家好，我是个spark和Java新手，最近在用spark做毕设，我在spark-package下载的package怎样在spark和spark-shell、Pyspark 中使用呢？谢谢。…

水水月牙 2022-09-02 16:09:02 30 0

spark 统计字符出现次数

spark-shell,读入json文件后，我想统计一个字符串属性上的'a'字符出现的次数，因为刚刚接触，只想到了一个比较笨的办法，先按'a' split,然后数组长度…

烛影斜 2022-09-02 16:03:39 15 0

spark存储报错

用spark－shell简单的程序： val sqlContext = new org.apache.spark.sql.SQLContext(sc) val test_data = sqlContext.read.json("music.json") test…

白昼 2022-09-02 15:49:33 35 0

spark sql嵌套查询语法问题

spark sql中运行报错 SQL： SELECT his.name, his.oid FROM his_data_zadd AS his WHERE his.value=(SELECT MAX(temp_t.value) FROM his_data_zadd A…

枯寂 2022-09-02 15:49:14 19 0

spark sql和hive的问题？

看到spark sql兼容hive，并有一个hive on spark的项目那完全使用spark sql自己的解析，和hive on spark 让hive借助spark运行有什么不同？哪个更高…

与往事干杯 2022-09-02 13:40:53 20 0

共 1 页
1

友情链接

文江博客