如何做大数据量的实时层叠筛选，使用什么技术，实现思路是什么？

Question

前提：现有一个表近2亿条数据，例如表字段有“ID”，“姓名”，“年龄”，“所在省份”，“性别”等。

需求：将上述表2亿条数据，根据年龄、所在省份、性别这3个条件，对该表中数据进行筛选出符合条件的数据，要求响应速度快，实时查询。例如我们平时逛淘宝购搜索商品的时候，对商品按照不同的条件进行多项筛选，展示符合条件的商品列表。

还有淘宝和京东商品搜索中的筛选是怎么实现的

 

本人道行太浅，还请各位大牛帮忙解答，最好能给出实现思路，谢谢谢谢！

Answer 1

一楼说的不完全错，说对了一半，

两点：1.修改表设计，把原来的用户表拆分至少三张表：

1）.关键字表，把需要查询的字段的所有内容都做一次分词提取出关键字放入此表。

2). 主表文档化结构即只存两个字段，Hash和json将其它字段如名字，年纪，所在省份序列化成json存到这个字段。

3）主表关键字关系表即关键字表里与主表的主键关联。

打比方 ：姓名：张国庆。那张国庆因为划词出来。存到关系表里形成记录id :1 keyword:张。id:2 keyword国庆。两条

这时 张国庆这条主表记录 hash值123，json内容{name:“张国庆”。。。}，这时就需要在第三张表中加两条记录。

key_id:1 user_id :123   

key_id:2 userid:123

2.查询的时候根据关键字找到其编号，然后在关系表里找到出现这个关键字的记录。

而不是去like 字段，这样别说2亿条，2百亿条一点问题都没有。

当然这个也有一个问题，就是生成关键字的会比较花时间，而且新增记录需要增量生成（这就需要算法）。

但是优点在于查询速度比一般查询要高10倍。这也就是索引的思想。所以我说1楼对了一半。

Answer 2

按照注册时间写入到时序数据库 查询速度应该在120ms左右

Answer 3

分裤分表

Answer 4

隐隐记得哈，记不太清了，希望没记错，别在帮了倒忙。

Answer 5

我记得好像看到有正则关键字匹配项，是做搜索时用的。

Answer 6

哥们，全文检索不合适吧，2亿条数据呢。