Spark命令行中正常执行的代码，用Maven编译报错

Hi，all我在idea中编写Spark程序，使用Maven编译会报错，但是将这段报错的代码贴到Spark-shell中能正常执行。这个问题很奇怪，求各位大神帮忙看下！ …

spark 安装 启动失败

如题，安装spark 后，startall时候报错，log如下 Spark Command: /usr/java/jdk1.8.0_45/bin/java -cp /usr/local/spark-1.6.2/conf/:/usr/local/spa…

hive的写好建表语句之后可以有类似PowerDesigner那样的表结构可视化工具吗？

主要是想看一下涉及的事实表、维度表这些关联关系。…

使用Cloudera免费版本构建Hadoop集群，安装时需要Cloudera Manager，这个CM收费吗？

公司需要给客户搭建大数据环境，考虑到开源社区版本的安装配置太麻烦，准备给客户装CDH 5.7。当然了，是要用免费版的，于是有了以下问题请教： 问题1…

怎样在spark中使用在spark-package下载的包？

大家好，我是个spark和Java新手，最近在用spark做毕设，我在spark-package下载的package怎样在spark和spark-shell、Pyspark 中使用呢？谢谢。…

spark 统计字符出现次数

spark-shell,读入json文件后，我想统计一个字符串属性上的'a'字符出现的次数，因为刚刚接触，只想到了一个比较笨的办法，先按'a' split,然后数组长度…

怎样让spark定时读数据库数据呢？

我做大数据分析，我想用spark定时去读cassandra数据（轮询），分析结果存到mysql，用scala写程序，该如何实现...?需要用spark streaming吗？…

spark存储报错

用spark－shell简单的程序： val sqlContext = new org.apache.spark.sql.SQLContext(sc) val test_data = sqlContext.read.json("music.json") test…

hdfs://master 具体指哪个目录？

hdfs://master 具体指哪个目录？…

搭建spark伪分布式需要先搭建hadoop吗？如果要先搭建hadoop的话，hadoop也是搭建伪分布式吗

新手一枚，求一个大神教一下怎么搭建spark…

使用registerTempTable创建的表，能insert数据吗？

使用bankRDD.registerTempTable("Bank")后我想增加Bank表里面的内容，类似SQL一样使用insert语句来增加内容，有什么好办法吗？…

spark sql嵌套查询语法问题

spark sql中运行报错 SQL： SELECT his.name, his.oid FROM his_data_zadd AS his WHERE his.value=(SELECT MAX(temp_t.value) FROM his_data_zadd A…

spark程序实际环境是如何运用的

现在已经掌握了spark的编程但是程序写出来提交运行只是单次的 spark streaming还能一直监听运行，spark sql执行一次就结束了 真实项目中是如何运行sp…

pyspark如何一次提交多个文件？

spark-submit指令，比如我要提交的python文件是几个互相import的文件，并且有的是在文件夹里的…

启动spark伪分布式模式，这些警告是什么意思啊