Question

9.3.1　数据源：不只有结构化的数据，还有文本、图片、视频、语音

虽然在每个章节都尽量介绍一些非结构化数据的工作方法，但本书的主体内容仍然围绕结构化数据展开。实际上，非结构化数据现在正在成为海量数据的核心，包括文本、图片、视频、语音等。原因在于两方面：

一是非结构化数据的容量会越来越大，并成为大数据的核心。我们知道结构化数据的存储一般比较小，但是非结构化的数据容量却非常大。使用iPhone拍摄一张普通的非全景照片，其容量大概有3M～5M，相当于3145728～5242880个字节（Byte），如果是汉字的话大概有157万～262万个（每个汉字占2个字节）。

二是非结构化数据能提供更丰富的信息要素，这点是结构化数据所不具备的。例如：以从视频中做人脸分析为例：从视频中可以分析目标对象所处的环境因素、面部表情、年龄特征等，这些信息都是客观存在并可以被分析的；结合视频本身的序列性和动态性，又能基于时间和空间的演变规律提取出来。

基于非结构化数据的这些特性，再加上当前相对廉价和低成本的数据获取、处理和计算成本，各个企业针对这些内容的研究方兴未艾。

9.3.2　自动化：建立自动任务，解除重复劳动

重复劳动是对数据工作者价值产出的重大阻碍，人类的优势在于创造性的工作，重复劳动正是电脑的优势。幸运的是，我们使用Python可以实现自动化的工作机制。

常见的可以自动化的工作内容包括：

数据抽取：数据抽取也称“取数”，有固定规律的取数工作一般都可以基于固定机制自动抽取。比如每次月报、周报、日报的数据，每月促销活动的数据提取工作。

数据清洗、数据汇总、数据统计：这类基础的数据预处理工作大多数都可以固定下来。

分析模型：常用的分析模型，尤其是具有“应用性”的是可以被固定下来的。

数据结果发送：当数据报表或报告有结果时，经常会需要发送给特定目标对象，这个过程也是可以通过自动化的方式发送的，尤其是日常性报告。

多系统的数据交互：当通过数据工作产生结果时，如果基于该结果有二次应用，那么应该通过自动化的方式将数据存储到目标数据库或指定路径。

9.3.3　未卜先知：建立智能预警模型，不要让运营先找你

预测性工作是极具落地价值的应用，配合特定的算法、阈值或波动区间的定义，我们可以建立良好的预警机制。

（1）预警机制的作用

预警应用具有以下作用：

提前提防可能出现的问题，避免问题严重化和扩大化。

在问题的发展过程中就提出问题，并建立预防性解决方案，防止事出突然而导致的手足无措。

建立正确的数据认知，避免“温水煮青蛙”导致的业务持续下滑而无法感知到危机的问题；同时也避免由于正常波动导致业务方“沾沾自喜”，认为自身运营取得良好成果。

（2）预警线的建立

预警线的建立一般包含预警上限和下限两种，如图9-2所示。

图中在正常波动上限之上的值域是异常增长区间，属于趋好的异常值，这种值的结果如图9-2中的A点，数据位于正常波动上限的上方。在实际业务中，数据会因为各种原因而导致结果高于或低于预期，定义引起关注的正向值区间，可以帮助业务过滤信息噪点而真正定位和分析异常增长情况。

图中在正常波动区间之下的值域是异常下降区间，属于异常低的情况。该结果已经排除了正常下降波动导致的数据减少，意味着已经出现严重的低于预期的情况。对于该情况需要立即通报相关部门或负责人引起重视。如图中的D。

图9-2　数据波动上下限定义

而图中的B和C则由于处于正常波动范围，则无须引起预警。

（3）预警机制的触发

预警机制的检测和触发一般是实时应用，可通过自动触发或手动触发进行业务提醒和优化。

自动触发。这种信息是在建立自定义预警条件后，当触发预警时自动执行响应程序，例如：

通过邮件、短信等形式告知关联运营部门。

通过程序将特定问题对象的权限、范围、功能、数据做锁定、限制等，防止问题恶化。

调用应急预案机制，直接对异常问题做应急处理，这要求提前已经定义好预警机制并且该问题经常发生。

手动触发。这是对自动触发信息的补充，用于检测机器无法识别的预警情况，尤其适合路径类、关联访问类的信息排除。

9.3.4　智能化：向BI-AI的方向走

BI商业智能（Business Intelligence）和AI人工智能（Artificial Intelligence）是在数据工作领域的两个常见智能化方向。前者已经提出很多年并且应用更加成熟，而后者虽然也产生较早，但直到最近随着大数据的突飞猛进才发展起来。

BI的侧重点在于基于结构化的数据再加上商业理解而产生对过去发生了什么、正在发生什么、为什么会发生、以后会发生什么的解释。出发点是从企业经营思考如何利用数据智能提高数据的驱动能力。

AI的侧重点则更多的在于基于全量数据（包括结构化和非结构化数据）像人类一样思考问题，这里面会涵盖BI的工作内容，但是在数据覆盖面上、工作方式上、计算方法上、实现能力上会有更大突破，主要表现在：

AI具有更接近于人脑的解决问题的方式，例如神经网络、深度学习等，这些方法是以往BI所不具备的。

AI能够直接面对视频、图片、语音等非结构化数据并从中提取有效信息，传统BI则不具备这种能力。

AI的应用更加聚焦于解决问题的场景化应用，例如人脸识别、火焰检测、黄图识别、语音识别等，而不像BI一样覆盖整个商业运营的方方面面。

AI对于大数据的支持性要远远高于BI，尤其是海量、非结构化特征的数据。

AI能应用到各个领域，尤其是与人类生活息息相关的领域，而BI则侧重于商业（企业）应用。

因此，我们会看到现在没有一个AI能解决任何问题，实际上每个AI应用一般都只解决一个问题，但在AI应用的领域他们的工作能力已经可以超越人类，这在之前是不可想象的。例如AlphaGo以3比0的总比分战胜排名世界第一的世界围棋冠军柯洁。

当然，无论是AI、BI、CI（客户智能Customer Intelligence）、DI（数据智能Digital Intelligence），虽然口号不同，但最终我们的目的是一致的，那就是如何使用更多的数据更好地为人类服务。

9.3.5　场景化：将数据嵌入运营环节之中

“数据驱动”一词是数据工作者为之奋斗的目标，但很多情况下下我们会发现数据“驱不动”业务。导致这一问题的因素有很多，例如：业务方工作能力、企业数据工作文化、数据工作机制、分析师的推动能力等。但是这些因素中，有一个潜在的因素未被提及，那就是数据根本不在运营环节之中。

数据怎样才算是在运营环节之中？如果没有数据，那么业务工作将开展不下去，这就是数据在运营环节中作为必要一环的体现。但可惜的是当前大多数企业都不具备这一特征。所有公司的商业模式和企业基因决定了其未来的趋向，如果数据不是随着其商业模式共同建立的，那么必然只能作为辅助类角色。

将数据嵌入运营环节，有以下几个建议点：

1）选择核心商业模式所涉及的环节，而非边缘环节。例如企业以财务经营为主，那么就需要将数据工作嵌入到财务运作过程中；如果嵌入营销、运营等环节，虽然也能发挥数据价值，但其价值将不会是最大化的。

2）数据在运营环节中的工作方式应该是不以人力参与为主的。这句话的意思是数据在整个工作环节中需要自动化、智能化参与其中，而不应该靠流程、制度等外部条件的约束来保证实施。数据的工作必须借助于IT系统，而不是人力参与。

3）将数据作为运营的一方主体，而不要仅运营方的辅助对象。在几乎所有的内部运营工作中，数据都是作为客体来测量、优化、改进运营主体的工作，这个过程中的数据的工作都围绕运营工作展开，没有运营就没有数据。但实际上，数据本身就有机会作为运营主体方，基于自身做策划、评估、优化和提升将使数据成为运营方的一种主体存在，而非依赖客体。