Hive大数据去重:hive里面有两个表，各有200亿数据，去重

hive里面有两个表，各有200亿数据，现在要对这些数据使用三个字段a,b,c去重合并成一张表，怎么搞？…

openSOC环境具体如何搭建

@Booklearn 你好，想跟你请教个问题：     最近看了官方给的openSOC开源项目，但是看的云里雾里，不知道具体该如何搭建这样的一个环境，根据文档的介…

python脚本执行hive的HQL语句，报错？Invalid status -128

请问 python脚本执行hive的HQL语句，语句报错。 错误代码： 2015-09-30 01:43:26,568 ERROR [HiveServer2-Handler-Pool: Thread-39]: server.TThread…

spark beeline 查询问题

beeline 通过thriftsvr 建立session select  的时候只能出现第一列的值，如下图： 单select一列数据的时候，可正常输出 求解答 …

Flink Table & sql 写入hive不成功

flink 1.11.2版本，使用flink  table从kafka获取数据然后写入Hive表中，发现flink table确实可以从kafka中拿到数据，但是却写不进hive，没有报错，请…

每天几十万hive任务，瓶颈在hive元数据db上，有什么成熟解决方案

用的主备mysql,目前mysql高峰期一直冲高，有什么成熟的db解决方案…

0: jdbc:hive2://master:10000/> truncate student; 表失败了

    0: jdbc:hive2://master:10000/> truncate student; Error: Error while compiling statement: FAILED: ParseException line 1:9 missing TABLE a…

复制表结构和数据： create table new_table as select * from exists_table;  结构报错了

复制表结构和数据： create table new_table as select * from exists_table;  结构报错了   NoViableAltException(27@[799:1: ddlStatement : ( crea…

有用过hive的外部数据源是kafka的么，hive实时读取kafka，hive storage handler

调spark sql hive报错了 : serious problem

         : HiveConf of name hive.strict.checks.cartesian.product does not exist Exception in thread "main" org.apache.spark.sql.catalyst.err…

hive导入数据到【有分区的表】（partitioned by）就报错，提示hive.partition表不存在？

服务器centos7.2 hive版本0.12 hadoop版本2.7.6 ----------------分割线----------------- 创建table的时候，用的外部表，放置于mysql，其中使用了par…

用户画像存储方案

1.用户数千万级 2.标签最高支持上万 3.标签会逐渐增多 4.支持依据多个标签进行查询，统计数量（秒级响应）（这是重点）   用什么存储能实现？ Hbase …

Impala使用UDF的时候输入的文本都变问号

同一个UDF在hive下是正常的，但是在impala下，文本都变成了？？？？   我又写了一个直接打印输入的byte，结果发现impala在进入UDF函数的时候，就已经…

java代码中进行Hive查询如何获取日志？HIVE版本：CDH5.12.1

hive CHD5.12.1 版本前使用一下代码获取查询日志： public String getQueryLog(TOperationHandle tOperationHandle) throws Exception {    //TCLISer…

我用hue执行hive SQL的时候 hbase报connectionException

我用hue 执行hivesql 的时候系统报错， java.net.SocketTimeoutException:callTimeout=60000, callDuration=68043: row 'log,,00000000000000' on ta…