文章来源于网络收集而来，版权归原创者所有，如有侵权请及时联系！

3 典型数据分析

发布于 2024-10-03 10:40:20 字数 4630 浏览 0 评论 0 收藏 0

四大业务场景：

用户画像：服务于产品研发设计人员；针对业务需求；精准营销。
销售收入分析：
物流分析
财务分析

舆情分析

简介

在时下互联网信息的浪潮下，信息的传播速度远超我们的想象。微博里一条大 V 的帖子，朋友圈的一个状态更新，热门论坛的一条新闻，购物平台的购物评价，可能会产生数以万计的转发，关注，点赞。如果是一些非理性负面的评论会激发人们的负面感，甚至影响到消费者对企业品牌的认同，如果不能及时的采取正确的应对措施，会造成难以估计的损失。所以我们需要一个高效的全网舆情分析系统，帮助我们实时的观测舆情。

舆情分析包括但不限于

舆情的影响力诊断，从传播量级和扩散趋势来做预测，确定是否最终形成舆情。
传播路径分析，分析舆情传播的关键路径。
用户画像，对舆情的参与者提供共性特征勾勒，如性别，年龄，地域和感兴趣话题。
情感分析，分析新闻或者评价是正面还是负面。情感分类后进行统计聚合。
预警设置，我们支持舆情讨论量阈值设置，达到阈值后通知推送业务方，避免错过舆情的黄金参与时间。

图 5 舆情分析数据流

图 6 舆情系统业务流程

原始网页存储库，这个库需要能支持海量数据，低成本，低延时写入。网页数据写入后，要做实时结构化提取，提取出来的数据再进行降噪，分词，图片 ocr 处理等。对分词文本，图片进行情感识别产生舆情数据结果集。传统的离线全量计算很难满足舆情系统的时效性需求。
计算引擎在做数据处理时，可能还需要从存储库中获取一些元数据，例如用户信息，情感词元数据信息等。
除了实时的计算链路，对存量数据定期要做一些聚类，优化我们的情感词识别库，或者上游根据业务需要触发情感处理规则更新，根据新的情感打标库对存量数据做一次舆情计算。

舆情的结果数据集有不同类的使用需求。对于重大舆情，需要做实时的预警。完整的舆情结果数据展示层需要支持全文检索，灵活的属性字段组合查询。业务上可能根据属性字段中的置信度，舆情时间，或者关键词组合进行分析。

架构

图 7 开源舆情架构图

系统的最上游是分布式的爬虫引擎，根据抓取任务抓取订阅的网页原文内容。爬虫会把抓取到的网页内容实时写入 Kafka 队列，进入 Kafka 队列的数据根据前面描述的计算需求，会实时流入流计算引擎（例如 Spark 或者 Flink），也会持久化存储在 Hbase，进行全量数据的存储。全量网页的存储可以满足网页爬取去重，批量离线计算的需求。
流计算会对原始网页进行结构化提取，将非结构化网页内容转化为结构数据并进行分词，例如提取出网页的标题，作者，摘要等，对正文和摘要内容进行分词。提取和分词结果会写回 Hbase。结构化提取和分词后，流计算引擎会结合情感词库进行网页情感分析，判断是否有舆情产生。
流计算引擎分析的舆情结果存储 Mysql 或者 Hbase 数据库中，为了方便结果集的搜索查看，需要把数据同步到一个搜索引擎例如 Elasticsearch，方便进行属性字段的组合查询。如果是重大的舆情时间，需要写入 Kafka 队列触发舆情报警。
全量的结构化数据会定期通过 Spark 系统进行离线计算，更新情感词库或者接受新的计算策略重新计算历史数据修正实时计算的结果。