返回介绍

H3C 大数据平台 Data Engine

发布于 2024-09-26 00:17:17 字数 1633 浏览 0 评论 0 收藏 0

H3C 历史

2003 年思科在美国突然起诉华为,为应对诉讼华为和 3Com 在杭州成立了华为 3Com,其中华为拥有 51%的股权,3Com 拥有 49%股份。

2005 年的时候,3Com 公司从华为手中又购得%2 的股权,2006 年 3Com 以 8 亿多美元收购了全部股份,同时华为 3Com 正式更名为 H3C。

2014 年 HP 收购 3Com,华三成为 HP 全资子公司。

2016 年紫光集团收购华三,并改名新华三。

关系链如下:

华三(2003~华为+3Com)-- 华三(2005~3Com) -- 华三(2014~HP) -- 新华三(2016~紫光)

H3C 大数据平台(Data Engine)采用开源社区 Apache Hadoop2.0 和 MPP 分布式数据库混合计算框架为用户提供一套完整的大数据平台解决方案,具备高性能、高可用、高扩展特性,可以为超大规模数据管理提供高性价比的通用计算存储 能力。H3C 大数据平台提供数据采集转换、计算存储、分析挖掘、共享交换以及可视化等全系列功能,并广泛地用于支撑各类数据仓库系统、BI 系统和决策支持系统帮助用户构建海量数据处理系统,发现数据的内在价值。

image-20191204223809937

图 14 华三大数据平台 Data Engine 的产品架构

H3C 大数据平台包含 4 个部分:

第一部分是运维管理,包括:安装部署、配置管理、主机管理、用户管理、服务管理、监控告警和安全管理等。

第二部分是数据 ETL,即获取、转换、加载,包括:关系数据库连接 Sqoop、日志采集 Flume、ETL 工具 Kettle。

第三部分是数据计算。MPP 采用分析型分布式数据库,存储高价值密度的结构化数据;Hadoop 存储非结构化/半结构化数据和低价值密度结构化数据。计算结果都存到数据仓库,数据仓库中的数据可直接用于分析和展示。数据仓库是面向主题的、集成的、稳 定的且随时间不断变化的数据集合,用以支持经营管理中的决策制定过程。

第四部分数据服务,包括:机器学习、数据挖掘、数据检索、数据可视化、即席分析、SQL 和 API,为应用层提供服务和中间件调用。

管理平台

华三大数据平台 Data Engine 提供了 web 端的管理界面,集群部署完毕后访问 https://ip:8443 即可访问管理平台。

从 Data Engine 管理平台页面中左侧列表可以看出,平台提供各种服务,包括系统服务,数据存储,数据计算,数据服务,数据管理,MPP,以及其他服务。

其中系统服务中包括:Metrics,Kafka,Oozie,Slider,YARN,ZooKeeper,HUE。

数据存储包括:HDFS,HBase,PostgreSQL,Redis。

数据计算包括:MapReduce2,Spark,Storm,Tez。

数据服务包括:ElasticSearch,HAWQ,PXF,Hive,Mahout,Pig,Solr,HBase Indexer,Drill。

数据管理包括:Flume,Kettle,Sqoop。

MPP 包括:MPP。

其他服务包括:Zeppelin。

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文