Spark 的 executor memory 不影响系统的执行效率
我自己搭建了一个 Spark 开发测试环境。配置是 2 CPU，8G 内存，单机 standalone 模式部署。我运行了三次我的ALS程序（数据集每次都一样的），三次运…
NoSuchMethodError: scala.Product.$init$(Lscala/Product;)V
最近在学习大数据，然后使用Scala创建Datasets时，运行代码爆出了如下异常： Exception in thread "main" java.lang.NoSuchMethodError: scala.Produ…
Spark分析HugeGraph/JanusGraph/Nebula的时候数据先要从数据库中拿到HDFS中么？
Spark分析HugeGraph/JanusGraph/Nebula的时候数据先要从数据库中拿到HDFS中么？那岂不是很慢？…
Spark的数据默认是存在HDFS上的么？
1、Spark可以直接读取写入HBase数据库么？需要做哪些工作来实现这件事？ 2、hadoop可以直接读取写入HBase数据库么？需要做哪些工作来实现这件事？ 3…
Spark可以直接读取写入HBase数据库么？需要做哪些工作来实现这件事？
1、Spark可以直接读取写入HBase数据库么？需要做哪些工作来实现这件事？ 2、hadoop可以直接读取写入HBase数据库么？需要做哪些工作来实现这件事？ 3…
spark.excutor.instance 和 spark.excutor.cores 有什么区别？
spark.excutor.instance 和 spark.excutor.cores 有什么区别？…
scala项目打包出现object java.lang.Object in compiler mirror not found
maven打包出现scala.reflect.internal.MissingRequirementError: object java.lang.Object in compiler mirror not found. 执行 maven clean package…
scala、spark，cannot resolve reference XXX with such signature
目前还是scala方面的小白，遇到问题毫无头绪,也没法提出明确的问题。下面是根据ALS算法做出推荐的代码案例。我的实际需求比案例代码多出一个子公司的…
python开发，spark接收kafka的输入流时
import cv2 import sys import findspark findspark.init() from kafka import KafkaConsumer from pyspark import SparkContext from pyspark.strea…
SparkSql调用hive Insert语句执行超级慢
问题描述 在使用Spark SQL 执行 sparkseccion.sql("insert overwrite table xxxx partition(date_time) select * from zzzz") 的时候，非常慢，大约…
