spark集群中每个节点都有一个独立数据库，可以实现分布式统计计算吗？
我将spark搭建在两台机器上，其中一台即是master又是slave，另一台是slave，两台机器上均装有独立的mongodb数据库。我的主程序让它们统计自身数据库…
一小段scala代码看不懂？
def collect(): Array[T] = withScope { val results = sc.runJob(this, (iter: Iterator[T]) => iter.toArray) Array.concat(results: _*) } 里面的…
Spark-Java本地模式运行，导出文件跳空指针
1、如果用collect()导出RDD结果是不会报错的 2、使用MAVEN导的spark-1.1.0的包是不会出这个问题的 3、下面的问题出现在我是用的是MAVEN导的1.4.1的包…
Yarn的出现到底给MapReduce、Spark等带来了什么？
好多MapReduce On Yarn ， Spark On Yarn 可是没有yarn， MapReduce Spark 不是一样跑 …
tachyon format时候要连hdfs哪个端口？
Formatting Tachyon Master @ localhost Exception in thread "main" java.net.ConnectException: Call From cloudwave0/192.168.0.50 to cloudwave0…
tachyon format时候出错，用hdfs做下层文件系统
Formatting Tachyon Master @ localhost Exception in thread "main" java.io.IOException: Failed on local exception: com.google.protobuf.Invali…
spark1.2里的一小段scala代码看不懂
def map[U: ClassTag](f: T => U): RDD[U] = { val cleanF = sc.clean(f) new MapPartitionsRDD[U, T](this, (context, pid, iter) => iter.map(clea…
Spark编译遇到ClassNotFoundException: xsbt.CompilerInterface的报错
用的是Scala。 附上build.sbt配置： name := "SparkLibLinearDemo" version := "1.0" scalaVersion := "2.10.4" libraryDependencies += "org.apache…
spark1.2.0在yarn-client模式下找不到spark-assembly-1.2.0-hadoop2.2.0.jar
下载的spark 1.2.0源码，使用命令 mvn -Pyarn -Phadoop-2.2 -Dhadoop.version=2.2.0 -DskipTests clean package 编译，运行spark-shell时正常。但是…
Spark 使用textFile导入本地文件，抛出IllegalArgumentException异常
rt. JavaSparkContext jsc = new JavaSparkContext(sparkConf); JavaRDD lines = jsc.textFile(args[0]); 输入/home/users/spark/test/r.txt 抛出异…
Spark+Hive的example运行问题
最近做实验需要收集Spark+Hive的一些指令trace，但在运行Spark自带的Scala版Hive样例代码时出问题。 Hive环境我已经配置了，并且试着执行，创建数据…
