Question

近年来，大数据思维和技术渐成显学。然而，大数据这一概念至今为止并没有一个内涵上准确的界定。在参考文献[56]中，作者用Volume（规模）、Variety（多样性）、Velocity（高速）和Value（价值），即所谓的4V特征来描述大数据问题的特性，但并没有给出这类问题的界定标准。然而，从实际操作的角度来看什么是大数据问题或许要比理论上的定义简单一些：如果有的数据处理问题无法通过数据采样的方法来降低处理的复杂程度，就必须利用一些专门为海量数据处理而设计的计算和存储技术（如 MapReduce、NoSQL数据库等）来实现。于是，这样的问题也就从工程上归为大数据问题，图1-1阐释了这一视角。

图1-1 大数据问题的特性示意

在图1-1中，我们考察的是某一个有确定目标函数的数据处理问题。图中的三条曲线是三类有代表性的数据问题。

（1）C类问题。从工程方便的角度来看，如果通过数据采样能够显著降低数据处理的复杂程度，同时解决问题的效果（即目标函数）没有太大的下降，那么显然应该这样做。这类问题可以用图1-1 中的 C 曲线来示意。由于可以通过很低的采样率解决问题，并不需要大规模分布式的计算架构，用传统的数据方案就可以解决，因此，这类问题应该归为传统数据处理问题，而非大数据问题。一般的统计报表、报告等往往属于这类问题。

（2）A类问题。另外有一些数据问题基本上不可能通过只处理一小部分数据来达到处理全量数据所能达到的效果，或者说随着数据采样率的降低，解决问题的收益会快速下降，这类问题是典型的大数据问题，用图1-1 中的 A 曲线来示意。由于需要处理大规模的全量数据，传统的存储和计算架构都不再合适，必须寻找新的方案，这实际上是推动大数据技术发展的原动力。个性化推荐（personalized recommendation）和计算广告（computational advertising）需要用到每一个人的行为进行定制化推送，而无法只采样其中的一部分人来处理，因此可以认为是典型的大数据问题。大数据问题由于无法利用传统的计算架构和数据仓库来处理，因此才会产生Hadoop等新的基础设施和NoSQL数据存储等技术。

（3）B类问题。当然，实践当中大数据问题和一般数据处理问题并不是泾渭分明的。有一些问题，其处理效果随着数据量的上升有一定提高，但当数据大到一定规模以后，再增加数据量价值就不大了，这类问题可以用图1-1 中的 B 曲线来示意。一个典型的例子是文本主题模型（topic model）。我们用 1000万文档往往会得到比 10万文档更稳定、更有意义的主题，然而用10亿文档和用1亿文档差别可能就会不那么明显。在解决这类问题时，往往是选取一个有较大规模但并非全量的数据集来处理。针对这种中等规模问题上的复杂算法，也产生了像Spark这样更加灵活高效的计算框架。

很显然，从以上观点出发，计算广告是非常典型的大数据应用。实际上，在以往相当长的一段时期里，我们认为唯一得到充分商业化和规模化的大数据应用就是计算广告。计算广告为各行各业大数据的落地提供了非常有价值的借鉴范本，下面几点尤其值得了解和关注。

（1）计算广告为规模化地将用户行为数据转化为可衡量的商业价值提供了完整产品线和解决方案，并且实际上创造了互联网行业大部分的营收。

（2）在线广告孕育和孵化了较为成熟的数据加工和交易产业链，并对其中的用户隐私边界有深入探讨，这值得所有涉及用户数据的互联网应用学习和借鉴。

（3）由于有了商业上的限制条件，计算广告的技术和产品逻辑比单纯的个性化系统更加复杂周密。因此，理解在线广告的产品和市场对于设计正确有效的商业产品大有益处。

由于以上这些原因，如果你是一位从事大数据或商业产品的产品经理、工程师或管理者，我们强烈建议你认真了解一下广告的产品和技术，相信你一定会有很大的收获，也会快捷地了解到这一领域真正有挑战的问题是什么。本着这样的目的，我们在本书后续部分中将广告市场的产品和技术演进作为一条明的主线，而将这一市场对数据的利用程度作为一条暗的主线来展开。希望读者能够通过阅读本书，具体地了解数据是如何通过广告市场规模化地创造商业价值的。