HIVE 数据倾斜 优化

Question

set hive.optimize.skewjoin=true;
set hive.skewjoin.key=100000;

set hive.map.aggr=true;
set hive.groupby.skewindata=true;
set hive.groupby.mapaggr.checkinterval=100000 ;
set mapred.reduce.tasks=60;
set mapred.job.map.memory.mb=8192;
set mapred.job.reduce.memory.mb=5120;
set mapreduce.reduce.shuffle.memory.limit.percent=0.06;
set hive.optimize.skewjoin=true;
set hive.skewjoin.key=100000;

select  /*+ MAPJOIN(e) */

a.*,e.name,e.categoryid
from tmp_dingdan a
left outer join s_dtsr_product e

on a.s_id=e.id;

其中：tmp_dingdan 非常大，s_dtsr_product表只有1千条。tmp_dingdan 表中s_id字段=存在严重的数据倾斜问题，可能某个s_id对应的记录数上亿条，可能某个s_id对应的记录数只有几条，很不均匀。并且，s_id不存在null值。现在在执行时特别慢，请问如何优化？

Answer 1

引用来自“寻梦2012”的评论

S_id字段对应的数据最多1千条吧。
s_dtsr_product 缓存到内存中。

Answer 2

S_id字段对应的数据最多1千条吧。
s_dtsr_product 缓存到内存中。

Answer 3

求大神帮忙，谢了