Question

计算广告是根据个体用户信息投送个性化内容的典型系统之一，类似的系统还有推荐系统、个人征信系统以及室内导航系统等。我们发现，大多数以大数据为核心驱动力的产品往往都需要一个这样的个性化系统，而不同产品的个性化系统之间存在着许多共同点。在介绍计算广告系统的架构之前，我们先来了解一般的个性化系统是如何构成的。

如图9-1所示，一般的个性化系统由四个主体部分构成：用于实时响应请求，完成决策的在线投放（online serving）引擎；离线的分布式计算（distributed computing）数据处理平台；用于在线实时反馈的流计算（stream computing）平台；连接和转运以上三部分数据流的数据高速公路（data highway）。这几部分互相配合，完成个性化系统的数据挖掘和在线决策任务。

图9-1 个性化系统一般框架

这几部分的协作流程是：在线投放系统的日志接入数据高速公路，再由数据高速公路快速转运到离线数据处理平台和在线流计算平台；离线数据处理平台周期性地以批处理方式加工过去一段时间的数据，得到人群标签和其他模型参数，存放在高速缓存中，供在线投放系统决策时使用；与此相对应，在线流计算平台则负责处理最近一小段时间的数据，得到准实时的用户标签和其他模型参数，也存放在高速缓存中，供在线投放系统决策时使用，这些是对离线处理结果的及时补充和调整。可以看出，整个系统形成了一个闭环的决策流程，而这个闭环在搭建完成后，基本依靠机器的运算来运转，人的作用只是进行策略上的调整和控制。实践证明，这样的闭环系统是有效全量利用大数据的关键。

还有一点需要强调，由于个性化需要的是对用户尽可能准确的理解，因此除了个性化系统本身的日志，一般都还会用到其他的业务线数据或采买得到的数据，这些数据都会进入数据高速公路以及后续的加工流程中。因此，在同一个企业中，我们会在不同的业务之间尽可能共享离线和在线的两个计算平台以及所有的用户行为数据。

各种个性化系统之间有上述的共性，不过由于其数据来源、产品形态、优化目标的不同，系统架构的细节也会呈现出很大的差别。我们以最典型的两种个性化系统，即计算广告和个性化推荐以及不需要深度个性化的搜索系统为例，比较这几个Web-Scale问题在不同方面的区别，如表9-1所示。而这些区别，是决定它们系统架构不同的关键原因。

表9-1 Web-Scale 技术问题比较