awk对多个接近100g的文件进行去重
a.txt和b.txt一个90gb 一个80gb我的机器只有32G的内存目前用的办法是搜来的 awk '!a[$0]++' a.txt b.txt > c.txt 然后没几分钟内存直接撑爆大概c.t…
elasticsearch写入去重的问题
我有一些数据，可能有很多重复的，比如username,ip,UA等等，这些数据是实时产生的，也就是说可能是产生的时间是不一样的。 目前是用logstash来实时写…
一个mysql多表，多条件查询去重的问题
有以下这样的mysql查询语句，请问怎么去掉重复数据 $sql="select * from " $sql.=" dr_member as a ,dr_member_data as b , dr_1_accompany as c " $…
- 共 1 页
- 1
