scala的distinct函数怎么用？
我这样写:val validRDD = unionRDD.map(item => { val arr = item.split(' ') ((arr(1), arr(2)), arr(3).toDouble) }) .distinct()unionRDD中是用…
在rdd中使用recommendProductsForUsers报错？
org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:416)…
此hive错误如何解决？
运行一般的hql都没有问题，运行select * from mall order by createtime desc会报错：INFO : Compiling command(queryId=root_20210928170420_7553da3…
scala list类型转rdd时候报错：SparkException: Task not serializable
完整的错误是：org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureClea…
scala一直报错：java.lang.NullPointerException
完整的错误是：21/09/29 16:05:25 ERROR Executor: Exception in task 0.0 in stage 3.0 (TID 3) java.lang.NullPointerException at org.apache.spar…
scala连接kafka失败 如何解决？
按照官方文档的示例，写了以下程序：def main(args: Array[String]):Unit = { val sparkConf: SparkConf = new SparkConf().setMaster("local[4]").se…
flume报错了ERROR RPC client creation failed! NettyAvroRpcClient
flume中设置了监听端口：agent.sources.log4j.type = avro agent.sources.log4j.bind = 0.0.0.0 agent.sources.log4j.port = 4450安全组已经开放了445…
提交到spark-submit的任务是运行一次的嘛？
对于一个完整的从Kafka或者hdfs读取数据 然后用模型计算并把结果导出到mysql或者hbase的spark程序把它提交了以后它是一直在运行嘛？如果有新数据从源…
python 使用pypuppeteer 后打包问题
用pypuppeteer做了个简单的爬虫，想打包成exe格式，使用PyInstaller打包工具需要把pypuppeteer包复制至主目录下，有什么办法可以不用去自己找依赖包的…
