Question

8.5.1　通过AB测试和多变量测试找到最佳内容版本

A/B测试是网站优化的基本方法，常见于高级网站分析系统。A/B测试包括双变量测试和多变量测试。Adobe Analytics、Webtrekk、Google Analytics等网站分析工具都自带A/B测试功能。

A/B测试的功能设置在不同系统中有差异，但流程基本一致：

步骤1　设置测试名称。

步骤2　设置测试的原始网页和优化网页。

步骤3　测试参数调整，包括测试参与测试的流量、版本的流量分配原则（是否平均分配）、数据测试时间、置信度阈值、设置转化目标（指定目标或事件）、结束后是否直接应用最优结果等。

步骤4　原始网页和测试页面部署测试代码。

步骤5　部署上线和测试应用及优化。根据上线测试结果做多个版本的迭代更新及测试，或将最佳版本上线应用。

经过以上五步，网站测试工作即可自动运行，待数据条件满足后，数据报告中会出现A/B测试结果；如果设置了自动应用，最优网页会自动上线而无需人工参与。图8-4显示了基本的A/B测试步骤。

图8-4　Webtrekk A/B测试配置

在A/B测试过程中，很多公司会提供一种“循序渐进”的测试方法：

内部测试：针对公司内部的人员做不同测试版本。

超小样本用户测试：针对超小部分用户（例如0.1%）做测试，通常这部分用户是公司的忠诚用户，对于测试的响应支持度较高。

小样本用户测试：针对一小部分用户（例如1%）做测试，这部分用户往往代表了较为积极的用户行为和反馈模式。

大样本用户测试：针对较高比例的用户（例如10%）做测试，这部分用户代表了与网站主流人群相似或相同的反馈模式。

这种方法能避免早期在选择测试对象时不谨慎导致的结果偏差。另外，以下几点关于A/B测试的应用需要读者额外注意：

A/B测试是一种注重短期结果的行为，对于长期行为的测量往往无法发挥作用。例如以购买保险为转化目标的测试往往不能很好地发挥作用。

A/B测试必须有明确的KPI目标，并且该目标一定是可测量的，如果没有目标则无法产生评估结果。

A/B测试的执行条件必须与实际运营条件相似，这样产生的结果才具有可操作应用性。例如不能在有促销的条件下做A/B测试，然后把测试结果应用到非促销场景中。

A/B测试是页面设计和内容优化的最佳实践方法，多变量测试适用于页面更改元素较多或由于时间限制无法进行全面测试的情况。但是，在做测试时一定要注意测试样本的选择与全站用户样本成分和构成的一致性，否则可能会导致结果偏离预期。

8.5.2　通过屏幕浏览占比了解用户到底看了页面多少内容

在做用户行为分析时，我们经常会关注用户浏览了某个页面的内容，也知道用户的停留时间，但是却不知道到底用户在该页面上浏览了多少或哪些内容。借助于特定的页面浏览百分比方法，我们可以清楚地知道用户在每个页面上看了多少内容。

要实现这一数据的跟踪，通常需要额外的代码（一般称为Plugin）来实现。具体实现过程跟网站流量跟踪代码的部署有关，笼统而言，该过程可以分为三步：

步骤一：将实现特定功能的Plugins JS代码写入通用全局脚本；

步骤二：在通用全局脚本中，启用Plugins功能；

步骤三：在网站分析系统后台，指定该变量的赋值字段，即通过特定Plugins采集到的数据放到哪个字段或变量（注：如果已经在Plugins JS中指定变量则无需重复定义）。

完成以上步骤之后，在系统采集并处理完数据，在特定的报表中（具体报表取决于在步骤三中创建的字段或变量的位置）可以看到如图8-5所示类似数据。

图8-5　页面浏览百分比

图8-5的数据显示了用户浏览的每个百分比下的数量占比，该百分比以浏览器右侧的滚动条的位置比例作为计算依据。例如假设页面A每天有100万的PV产生，但是如果综合页面浏览百分比数据发现，其实只有25%的人完全看完该页面，大多数内容其实都没有机会曝光在用户面前。基于不同比例可以分析随着页面长度的增加用户能注意到的比率的下降趋势，该信息可以帮助内容运营者合理规划内容长度。

8.5.3　通过数据分析系统与CMS打通实现个性化内容运营

1.网站内容运营的三种形态

网站内容运营发展按照运营规则来看，依次经历了粗放型运营、群组运营和个性化运营三种形态。

1）基于全部用户群体的粗放型运营指所有网站运营工作的开展都是以企业自身为核心，将相同的规则应用到企业全部运营范围中。在该过程中，企业处于优势地位，用户只能被动接收网站信息而缺乏选择性和自主性。

2）基于细分规则的群组运营已经开始区分用户，并根据企业自身资源运营需求在不同类型的资源中运营不同的内容；或者根据用户的群组划分，对相同群组的用户展开相同的运营动作。在这个过程中，用户具有在一定范围内选择内容的权利，但内容仍然是基于群组规则而非个人规则。

3）基于个人推荐的个性化运营是在综合用户喜好、企业内部资源特点的基础上，将企业资源与用户需求完美结合，针对不同的用户进行精准运营的过程。个性化运营是企业与个人信息交互的过程，这个过程中不存在明显的主从关系，双发互为信息发送者和接受者。

三种形态的运营规则如图8-6所示。

图8-6　三种形态的运营规则

2.个性化内容运营的价值

个性化网站运营与其他两种运营方式相比，其价值主要体现在以下3个方面。

（1）增加长尾内容曝光

很多网站由于内容过多，众多优质内容无法被用户看到，内容浏览呈现出长尾特点。站内个性化网站运营可以将长尾内容与用户个性化需求结合，通过长尾内容满足不同用户需求；个性化规则中还可以指定人工干预，通过固定展示规则达到针对特定内容曝光的目的。

（2）提高站内用户体验

个性化运营的本质是将运营的核心从企业转移到用户，即所有的内容都是根据用户需求和喜好而产生；在这一过程中，用户从进入落地页开始的整个体验度上升，同时企业也将从中受益，表现在数据上是访问深度和停留时间的增加、退出率和跳出率的降低以及最终转化效果的提升。

（3）提高网站转化率

对于内容型网站而言，个性化运营通过精准的内容匹配为用户推荐最适合或最喜欢的内容或服务，在相同的流量规模和流量结构下必然会提升网站转化率，这也是个性化运营对企业最重要的贡献之一；另外，个性化运营还能通过对已经标识的流失用户进行精准的信息推送，从而实现对流失用户的挽回。

3.个性化运营的信息推送方式

个性化内容运营需要将数据分析系统与CMS打通，打通后可以呈现以下个性化信息推送形式：

（1）根据浏览数据的个性化推送

看了还看：根据用户当前浏览内容推荐下一个最可能感兴趣的内容，通常在内容详细页的两侧或底部出现，主要作用是引导用户浏览行为。

其他用户在看：根据用户的浏览历史，推荐和该用户浏览行为类似的其他用户最可能浏览的内容，通常出现在页面底部，主要作用的引导用户浏览。

（2）根据搜索数据的个性化推送

根据搜索数据的个性化运营是所有个性化推荐中较为复杂的部分，原因是基于搜索的个性化推荐增加了自然语言处理的过程，这个过程相对复杂且准确率要求较高。根据搜索词的个性化推荐目前主要应用于两种形式：

一是当用户搜索完成后，会在搜索页面侧边栏或底部出现“搜索该词的用户还会搜索”，该部分是与上述推荐结果类似的信息展示。

二是推荐系统会在用户搜索结果下面提示“相关搜索词”信息，用来确定搜索需求、扩大搜索范围、提高搜索质量等。

除了以上用户的行为类型外，其他可能出现的推荐场景包括：基于用户评论的推荐、基于收藏的推荐、基于关注的推荐等，其推荐方式与上述场景类似。

4.个性化运营的主要算法支撑

实现个性化运营的主要算法包括协同过滤、关联规则、基于内容的推荐、社会网络算法以及组合算法。

（1）协同过滤

协同过滤（Collaborative Filtering Recommendations，CF）是利用兴趣相同、拥有共同经验的群体喜好来预测用户喜好的方法。协同过滤通常分为基于项目的协同过滤（item-based CF）和基于用户的协同过滤（user-based CF），核心是根据不同用户对项目的评分来预测项目之间或用户之间的相似性，并基于这种相似性做出推荐。除此以外还有基于模型的协同过滤以及混合协同过滤机制。

举例：如图8-7所示是基于用户的协同过滤机制。假设用户A喜欢物品A、C，用户B喜欢物品B，用户C喜欢物品A、C、D；从用户的历史喜好信息中，我们可以发现用户A和用户C的口味和偏好是比较类似，因此可以物品D推荐给用户A。

图8-7　基于用户的协同过滤机制

协同过滤推荐的自动化和个性化程度高，并且能处理复杂的内容和推荐对象，可以针对性的推荐用户尚未发掘的新兴趣点；但是，协同过滤在面对新客户由于无法与其他用户特征进行比对，因此无法产生有效推荐结果；另外，面对数据稀疏性的解决方案以及算法可扩展性较差上的问题，协同过滤仍然存在改进空间。

（2）关联规则

关联规则（Association Rules）本书已经不止一次提到过，关联规则可以广泛应用到用户的浏览、搜索、购买、产品等推荐场景。

关联规则技术成熟且推荐结果较为直观，可以发现用户的长尾需求并进行推荐，尤其在销售领域应用广泛；但如果产品、内容或推荐项目存在同义性将无法产生准确结果，另外数据抽取规则复杂且耗时，无法应用实时个性化推荐场景。更多有关关联规则的话题，请参考4.4节的内容。

（3）基于内容的推荐

基于内容的推荐（Content-based Recommendations）很大程度上是在进行文本、图像等内容的挖掘。基于内容的推荐通过分析内容提炼出特征，然后通过用户对特征的反馈来学习用户喜好特征，最后将具有其他类似特征的内容推荐给用户。

基于内容的推荐可以对用户兴趣很好地建模，并通过对物品属性维度的增加，获得更好的推荐精度。但是，当物品的属性有限时，将很难得到更多数据，而当物品属性过多时，对于如何分配属性间的权重并更快得到推荐结果该算法仍然存在问题；另外，算法本身只考虑到物品相似度的做法存在一定的片面性；对新用户冷启动时无任何喜好特征的场景仍然没有有效解决方法。

（4）社会网络算法

基于社会网络的推荐算法是通过收集用户在社交网络上的属性（人口社会属性）、标签（喜好、兴趣、类别）、地理位置、行为（原创、活动参与、转发、评论、分享、点赞、收藏）、社交关系（圈子、粉丝和关注、Follow、信任、拉黑、重点关注）等进行挖掘分析，找到用户兴趣点并个性化推荐。今日头条新闻推荐、新浪微博的关注推荐都是基于这种模型进行的。

这种推荐方法本质上是基于用户的推荐，社交网络数据具有动态性强、时间推移规律明显、算法过于复杂及耗时较长等特征，该算法应用的局限性较为明显。

（5）组合推荐算法

通过以上算法分析可以看出，每种算法都有独特优势和不足，通过组合不同算法可以避免或弥补各种推荐技术的弱点，常用的组合方法包括：

加权处理。采用多种推荐技术运算并根据权重加权得出总评分，并以此得出推荐结果。

变换场景。不同的场景采用不同的推荐算法，如针对新用户基于内容推荐、针对老用户使用协同过滤推荐。

混合展示。在得出推荐结果时，分别取出每种推荐结果的前几个项目组合到一起向用户展示。

迭代计算。在使用一种推荐算法得出结果后，再采用其他算法在此技术上进行二次或多次运算。

除了以上常用算法外，还有部分算法不属于个性化推荐算法，但也会应用到个性化推荐场景中，如基于用户类别的推荐、物品类别的推荐、基于物品排名或时间热度等推荐，这些算法通常会作为特殊情况下的应用，如冷启动、数据稀疏性等。

8.5.4　将个性化推荐从网站应用到APP端

个性化运营可以应用到手机端，但和WEB端相比其应用具有特殊性：

应用程序开发要求增加。在使用APP时，用户会更加关注程序对手机空间的占用情况、对网络流量的使用情况以及应用时的流畅度，如果在个性化运营的信息交互过程中出现如页面打开速度慢、流量使用过高等情况，会导致用户体验下降甚至直接卸载应用。

展示空间有限。与WEB不同的是，APP的展示空间只限定在狭小的手机屏幕区域。由于手机端屏幕限制而无法提供过多的信息展示控制，这限制了个性化信息推荐的展示。

应用场景更加具体。APP可以追踪到应用设备的时间、地理位置、联网环境、手机号等，这使得获得用户具体场景信息的可能性增加，同时也可以针对用户的不同场景推荐不同的内容。例如，当用户在大型商场时可能更需要时尚消费资讯，而当中午12点时可能更需要个性化餐饮消费信息。

个性化运营针对性更强。每个应用程序都可以对应到个人，因此个性化的APP运营可直接映射到APP背后的使用者——终端用户。基于这一特性，只要用户使用APP，运营人员便可以精确区分和识别每个用户，并针对不同用户做基于群组、个性化的运营动作。

跨设备和跨平台的推荐。通常情况下，当用户使用多个平台或设备时，其数据无法进行关联；但当用户登录之后，所有的数据便可通过登录ID关联起来，基于整合后的分析和推荐，运营人员可以随时随地、跨平台、跨设备的进行信息推荐。

用户需求识别难度增加。APP上的数据除了网站端基本的点击、浏览、购买等行为外，还包括更多非结构化的数据，如语音、地理位置、拍照、视频等，这些数据的采集和分析挖掘将成为APP个性化运营的重点和难点。

目前主流的针对APP的个性化推荐和运营主要采用以下两种形式：

形式一：通过调用网站端的挖掘结果来实现APP个性化运营。这种形式节省了APP数据回传后做分析挖掘的时间，从而提高了信息反馈效果并降低了数据交互量；但会导致运营内容不够个性化、匹配度不高的问题。

形式二：只针对APP上的简单场景进行应用。这些场景主要是基于页面浏览的数据，如内容页、商品页等，目的是做更好的内容展示；但问题在于数据的应用场景过少，个性化运营效果不明显。