Question

流量保护包括两方面的内容：一是对非主动用户访问行为，主要是爬虫行为的去除；二是反作弊，即对于恶意展示或流量来源的去除。从技术难度上看，我们主要关注的是后一个问题。反作弊的检测方案，在在线投放和离线统计中都有需求，并且是广告计价和其他数据统计的基础步骤。另一个在线完成的辅助任务是为广告主服务的广告监测服务，它为了完成广告的展示和点击计数，当然也需要一定的反作弊处理，因此这两个问题有着密切的联系。

15.3.1 反作弊

由于广告有很多的相关利益方，因此除了那些无恶意的、机器产生的流量，也会经常遇到欺骗性的展示或点击行为，即作弊。作弊的具体手段五花八门，无法一一列举，并且随着反作弊手段的进步而不断进步。要在面对广告作弊时快速找到思路，需要先搞清作弊者的目的。我们知道，广告活动是广告主、媒体与用户之间三方交互的行为，因此广告中的作弊行为主要有以下三种情况。

（1）媒体作弊。媒体是广告活动的主要受益者，因而作弊的动力也最强。由于大多数广告网络与媒体之间是按照点击的价格来结算，因此点击作弊是最为常见的，当然也存在为了满足CPM订单量的需求而对展示进行作弊的情形。这种作弊的花样繁多，既有将广告展示和点击代码放在非约定位置上或非用户自然行为产生的流量上的方式，也有通过将广告位与内容靠得很近甚至相互重叠来骗取点击的方式。

（2）广告平台作弊。广告网络或广告交易市场这样的广告平台也有制造虚假点击，以获取更多分成的目的。而 DSP这样的需求方广告产品，除了混入劣质流量的广告展示、制造虚假点击以外，还会通过一些作弊手段为广告主带来虚假转化，以满足效果考核的要求。

（3）广告主竞争对手作弊。某些广告主的竞争对手，会通过技术手段大量消耗该广告主的预算，达到降低其广告效果的非正常竞争目的。与媒体作弊不同，广告主的竞争对手很难通过控制广告展示的方式来作弊，而是通过多次重复点击广告的形式来作弊。由于通过单一 IP或 cookie大量点击广告很容易被发现，作弊方往往会通过频繁清除 cookie，改变 IP，甚至通过木马控制多台用户电脑来达到作弊的目的，当然，这样的作弊手段也被媒体或广告平台所采用。

单一IP或cookie在大量展示或点击的作弊方式是最容易去除的，只需要一定时间段内的展示或点击设定合理的上限，进而发现那些显著超过上限的 IP 或 cookie 并加入黑名单即可。

对于更复杂的，通过控制多台电脑来产生假点击的作弊方式，上面提到的点击热力图也是一个很有用的反作弊工具：正常的用户点击，在创意上的位置分布往往呈现与创意关键区域相关的比较自然的分布；而机器产生的用户点击，其分布要么过于均匀，要么过于集中，很容易与自然点击分布相区别。图15-6中给出了一个广告创意正常的点击热点分布与作弊的点击热点分布的示例，左侧是自然点击的热力图，右侧是有作弊行为的点击热力图。可以看出，除了自然点击区域外，还多了一些集中且均匀的点击分布，这些明显不符合正常用户的行为特征，可以认定为作弊行为。需要说明，认清作弊者的身份和动机对于用好点击热力图反作弊很有帮助，因为这关系到如何分解某个创意上的流量来绘制点击热力图，以发现明确的作弊信号。

图15-6 自然点击热点图（左）与机器作弊点击热点图（右）对比

除了cookie、IP级别的统计以及点击热点图这些思路以外，如果广告系统能在JavaScript代码或 SDK中收集到更多其他的物理信息，如展示时间、点击时间等，也会对于甄别作弊流量很有帮助。一般来说，在收集到比较充足的特征以后，可以建立一个反作弊的判断模型，用以过滤作弊行为。这样的模型需要有一个在线的实时计算版本，为在线计费和其他实时反馈模块做过滤；也需要有一个更加精细的离线版本，用于每天处理广告日志，得到最终确认的财务结算数据。由于反作弊特征和模型是广告系统高度保密的模块，在此不展开讨论其细节。

流量劫持

除了制造虚假展示和点击的作弊行为，在广告市场上还存在着通过非法手段获得广告展示或点击的准作弊行为，而其中最典型的情形就是流量劫持。

所谓流量劫持，就是在无权投放广告的地方强行投放，或者改变广告创意甚至落地页的内容。一般来说，只有一些网络底层服务的提供商，如 DNS、CDN、电信运营商等，才有能力进行这种劫持。流量劫持并非互联网广告的新问题，在电视广告中也存在这种现象，如图15-7中强行加入的滚动字幕广告。尽管流量劫持不是合法的商业产品，但在中国及东南亚等地区，这确是一个不能忽视的广告渠道，在服务于效果类广告主时，必须要了解其客观存在并加以应对。

图15-7 电视广告的流量劫持示例

下面通过几个例子了解流量劫持的具体手段。

（1）信道弹窗。通过电信运营商对信道的控制能力，在用户上网时强行向下行内容中插入弹窗广告创意。这种形式在 PC和移动设备上都存在，虽然 CCTV在 2013年“3·15”晚会对这种灰色广告渠道进行了曝光，但是至今仍然广泛存在，并且在移动设备上大有愈演愈烈之势。

（2）创意替换。创意替换仍然是通过电信运营商的信道，将某些网站上的广告创意直接替换为其他创意，显然，这是一种比信道弹窗更加粗暴的劫持行为。

（3）搜索结果重定向。由于搜索是高商业价值的流量，将搜索流量导向某些搜索引擎，可以获得其收入分成。因此，存在一种流量劫持手段，当用户在搜索引擎 A 输入某关键词以后，搜索的结果页会变成搜索引擎B提供的。或者在淘宝这类电商垂直搜索中，改变结果商品的排序或落地店铺。这虽然不是直接的广告劫持，但本质也是一样的。

（4）落地页来源劫持。这是最为简单粗暴的一种劫持方式，它并不投放广告，而是在用户访问广告主落地页时，直接在URL上加上广告来源代码。比如，当用户访问http://mkt.mbaobao.com/a-hotalfshell1219这个广告主页面时，将其修改成http://mkt.mbaobao.com/ahotalfshell1219?utm source=*，这样广告主就会将其统计成某广告渠道带来的访问。

这些流量劫持手段中，前三种手段主要损害的是媒体利益，而对广告主来说，流量本身则是真实存在的。而第四种就是一种彻底的作弊行为了，损害的是广告主的利益。由于有这种非法劫持流量的存在，严重扰乱了正常的效果广告和程序化交易市场，客观上在中国形成了一个劣币驱逐良币的环境——毕竟努力提高技术和算法水平远不如去买低成本的非法流量效果来得快。因此，我们在这里呼吁大家，一起来抵制这种劫持流量，真正从产品技术方面扎扎实实地做一些有利于行业进步的事。

15.3.2 广告监测

在线广告区别于线下广告的重要特征就是可监测性。从需求方来看，存在切实的需要，委托某家第三方监测公司对实际发生的展示或点击数目进行核对，以确保自己的利益。不过监测的主要需求存在于按 CPT 或 CPM 结算的合约广告中。这是因为在竞价广告系统中，广告主与媒体之间并没有约定的价格，可以根据后续的效果来调整自己的出价，因此对展示或点击的监测并不是强需求。从这里我们可以看出，效果检测主要的服务对象是那些品牌广告主，一般会占有在线品牌广告投放1%左右的预算。

借助监测代码或者SDK实现广告展示或点击的计数并不困难。但是当广告投放基于受众进行时，监测就要困难多了。例如，某广告计划要求在男性用户流量上投放1 000千次的展示，那么如何才能确定投放的结果满足这一条件呢？一般采用的方案是广告监测提供商用采样加付费的方式收集一个小比例人群上的真实用户属性，然后通过验证这个人群上性别的准确率来反推整体的投放数据。这一方法看起来十分简单，不过由于采样集一般规模不大，在人群分布上与投放人群相比可能存在较大的偏差，因此此方法的关键在于如何对数据进行有效的纠偏。另外，即便采用这样的方案，也只有部分基于人口属性信息的投放是可以验证的，而对于基于兴趣标签的投放，由于对同一个用户并不存在确定的标准答案，这样的监测意义不大。

由于实名社交网络的人口属性信息相对比较准确，又有很大的规模，因此现在的趋势是直接采用社交网络的数据作为标准来进行定向广告的监测。例如，尼尔森就与Facebook合作，推出了基于Facebook人口属性信息的广告监测服务。

当然，广告监测与反作弊有着密不可分的联系，所有展示或点击的计量都必须在去除了作弊流量的基础上进行。由于广告监测是代表需求方利益的服务，一般来说其反作弊规则比媒体方或广告平台更加有严格的动力。

15.3.3 广告安全

在越来越复杂的广告投放和交易逻辑当中，广告主已经很难像合约广告中那样非常明确地管理自己的投放媒体了。但是，实践中很多广告主又存在切实的需求，希望自己的广告不要出现在一些特定内容的媒体上。我们在第2章中曾经提及，广告预算除了被浪费的那部分，还存在一部分是会产生负面效果的，我们显然希望去掉这些有负面影响的展示。例如，汽车广告主不希望自己的广告出现在有关车祸内容的页面上，也不希望出现在一些低级庸俗内容的网站上。这样的需求，不是简单的广告可以完成的，而是需要专门的服务来保证广告主的品牌安全，这样的问题称为广告安全问题。与广告安全相关的关键技术是广告投放验证（ad verification）和可视性（viewability）验证。

广告投放验证

广告投放验证的作用是确认品牌的安全性，并保证展示的质量。其工作模式是当广告投放到页面以后，如果发现页面的内容不符合品牌安全的诉求，则停止展示广告主的创意，转而展示一个与品牌无关的创意。与广告监测不同，这里的重点不在于计量效果，而在于阻止不恰当展示的发生。

读者可能会疑惑，既然是在不安全的页面上禁投广告，在广告请求到来时直接根据URL过滤不就可以了吗？在实际的广告交易中，由于多层 iframe 的嵌套，有时媒体会伪装自己的 URL 以达到流量以次充好的目的。比如，某些高质量媒体会将自己域名的 iframe 嵌套在其他小网站上以冒充自己的流量，从而获得高的溢价。因此，必须要在广告投放时，进行iframe穿透，实时判断投放页面的顶层URL，才能进行广告投放验证。而页面的内容则可以采用第12章中的半在线抓取系统来获得。

当有了一些历史经验以后，也可以采用投放前的验证方案，也就是对那些历史上发现不符合品牌安全策略的的 URL 或广告位直接不参与广告交易，这样可以进一步节约服务成本。

可视性验证

品牌广告主的另一个常见诉求是广告展示的曝光程度。显然，出现在第二屏的广告位比第一屏的广告位曝光程度要差很多。这个问题也属于广告安全的范畴。

可视性验证的技术方案一般是判断浏览器是否对广告创意发生了渲染过程，如果没有，那么这次展示实际上不是可视的。解决可视性验证，需要对各种浏览器做充分的针对性测试，目前的技术水平已经可以做到对 95%以上的浏览器内广告流量进行可视性验证；但是在移动应用内广告中，目前还没有很好的检测办法。

可视性验证同样有投放前的方案，也就是对那些可视比例很低的广告位直接不参与广告交易。