数据挖掘100多万条记录的数据集中高效查找每一条记录所属用户的近一周、近一月的记录数或其他信息？ 我用的类似于两层循环太耗时

Question

数据挖掘特征提取 100多万条记录的数据集中高效查找每一条记录所属用户的近一周、近一月的记录数或其他信息（作为特征）？ 我用的类似于两层循环太耗时

for index,row in weibo_data.iterrows():
    time_i = row['time']
    date_i = row['date']
    uid_i = row['uid']

---

    #近1,3,7,15,30,60天发博数量
    weibo_data.loc[index,'blog_1day_sum_weibo'] = weibo_data[(weibo_data.uid == uid_i) & (weibo_data.time <= time_i) & (weibo_data.time >= time_i - timedelta(days=1))]['mid'].count()

这样的话100多万条估计需要很久才能计算完毕（100w*100W的数据量吗？，)这种问题应该比较常见，请大家指教一下

处理这种问题一般采用的是什么方法，我的做法与处理小数据的方法一样，所以数据多就完了（需要用多线程或多台机器那种吗）

刚刚接触，十分感谢~~~

Answer 1

分而治之 , 把这个100多万条的数据拆分为多份，然后用多线程去跑，最后合并处理结果就可以了。