Ubuntu上熟悉HDFS，编写这个java文件一直报错，如何解决
编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：实现按行读取HDFS中指定文件的方法“readL…
flume sink是logger的时候输出到哪儿去了？
sink是这样的a1.sinks.s1.type=logger终端没有输出，/usr/local/Cellar/flume/1.9.0_1/libexec/bin/logs目录下也没有输出结果输出到哪儿了？…
如何高效计算排列组合中的组合问题
充分利用cpu的核心数计算组合5选31,2,3,4,51,2,31,2,41,2,51,3,41,3,51,4,52,3,42,3,52,4,53,4,5需要计算n选m的组合充分利用cpu，可以多台计算机同时…
Flink运行一段时间后报连接kafka错
运行一段时间大概18个小时就会出现这种报错，时间也不固定，是因为我配置参数的问题么#配置内容 properties.setProperty("bootstrap.servers", broker…
架设Hudi的docker项目，spark连接不上
RT 用docker架设了一个hudi。但是spark死活连不上，一直报错。这是测试代码SparkSession session = SparkSession.builder() .master("spark://sparkma…
apache sqoop导出遇到了以下错误
错误信息：java.lang.Exception: java.io.IOException: java.lang.ClassNotFoundException: stu at org.apache.hadoop.mapred.LocalJobRunner$Job.run…
mapreduce如何输出指定的一列
请问下，mr如何输出指定的一列到output呢？ 且输出到output里的数据每行末尾不能有\t。-jobconf reduce.output.key.value.fields.spec=0:0 这个参数可…
将Hive中数据处理之后存入MySQL，有什么好的方法或者第三方库吗？
最近接下来可能要做一些大数据相关的开发，这之前也自学了一段时间，但总感觉有点似懂非懂的，所以像结合可能的业务逻辑请教一下。其实主要就一个点，…
spark大数据分析 爬虫存到csv有的列是list 请问应该怎么存到hive？直接存list吗？该怎么分析呢？
完全没有头绪 目前自己定的流程是爬虫-》hdfs-》通过scala处理后存hive-》scala分析-》mysql…
springboot 整合 flink 处理Kafka数据 动态写入HDFS不同文件上
package cn.nucarf.tianyan.service.dwd;import cn.nucarf.tianyan.config.AB;import cn.nucarf.tianyan.config.ProYml;import cn.nucarf.tianyan.con…
pyspark下foreachPartition()向hbase中写数据，数据没有完全写入hbase中
1.问题描述在使用pyspark过程中，遇到了一个向hbase中写数据的问题，在foreachPartition()方法中使用happybase对每个partition中的数据进行写入hbase…
使用FlinkSQL查询MySQL写入Greenplum, 出现Java heap space问题，可以通过配置避免吗？
环境是本机用docker部署的1.11.2版flink集群，就一个task manager。尝试在SQL Client里查一张50w数据的mysql表并写入GP，结果task manager报Java heap…
