Spark目录下没有lib目录，-bash: sbt/sbt: Permission denied
1、想要解决的问题： Spark目录下没有lib目录。 2、一句话描述： Spark目录下没有lib目录， 于是我使用“sbt/sbt assembly”命令打包，但是mac终端提…
Spark里一行scala代码看不懂？
就是KMeans.scala里的val sums = Array.fill(runs, k)(Vectors.zeros(dims))这句，前面fill就是生成一个长度为runs，每个值是k的数组，后面传入一个Ve…
Spark Web UI 中不显示Applications
搭建了一个hadoop1的分布式环境，在上面跑spark。使用spark-submit提交spark自带的kmeans的example后，终端已打印出运行结果，但是web UI（localhost…
spark example 有个地方看不懂
https://github.com/apache/spark/blob/master/examples/src/main/java/org/apache/spark/examples/JavaPageRank.java这里面，注释说输入要是这样的格…
Spark Streaming集成Kafka代码构建失败
env ubuntu14.04 64bit java 1.8 scala 2.11.7 spark-hadoop2.6 1.5.1 interlliJ IDEA sbt 0.13 问题 自己照着Spark streaming example修改了一点代…
...A signature in WebUI.class refers to term eclipse in...
[error] bad symbolic reference. A signature in WebUI.class refers to term eclipse [error] in package org which is not available. [error] It…
pyspark执行reduce时报错：port out of range:1885434979
刚装完spark-1.6.0-bin-hadoop2.6.tgz, Java 1.8.0_65Python 2.7 运行pyspark: dd = sc.parallelize([1,2,3,4,5]) dd.reduce(lambda a, b:a+b) 报错…
Spark 关于判断空RDD的速率
如题，我有如下操作，var temp = sqlContext.sql("select * from Queue where id>8") temp可能返回的是空RDD（存在分区），此时我使用temp.rdd.take(1…
从事大数据工作的程序员一般都是在干嘛？
之前搭建过hadoop2.x完全分布式，用过一些mapreduce，hdfs+hbase+sqoop+hive等等都只是都了解了一下功能，但是对于从事大数据工作的人日常都是在干什…
在使用Spark Streaming向HDFS中保存数据时，文件内容会被覆盖掉，怎么解决？
我的Spark Streaming代码如下所示： val lines=FlumeUtils.createStream(ssc,"hdp2.domain",22222,StorageLevel.MEMORY_AND_DISK_SER_2) val words =…
在SparkSQL中,registerTempTable如何insert新的内容？
描述如下： PersonRdd是一群Person类的Rdd，然后进行PersonRdd.registerTempTable("Person")操作把其注册到Person表中， 但是我现在又要增加Person表…
如何配置sbt的build.sbt使得编译时将依赖包也打包进去
简单描述下我的环境 ubuntu14.04 64bit IterlliJ IEDA 14 scala 2.10.4 sbt 0.13.8 spark 1.5.1 java 1.7_79 kafka 0.8.2.2 problem 将编写好的scala…
Java开发时 spark 和 mapreduce的语法像吗？
Java开发时 spark 和 mapreduce的语法像吗？ 我问的问题肯能不是很专业 就是想知道 spark 和 hadoop 用java开发时，语法上有多少相似性 …
