返回介绍

Hadoop 大数据解决方案 - Hadoop 教程

发布于 2025-02-22 13:46:36 字数 883 浏览 0 评论 0 收藏 0

传统的企业方法

在这种方法中,一个企业将有一个计算机存储和处理大数据。对于存储而言,程序员会自己选择的数据库厂商,如 Oracle,IBM 等的帮助下完成,用户交互使用应用程序进而获取并处理数据存储和分析。

Big Data Traditional Approach

局限性

这种方式能完美地处理那些可以由标准的数据库服务器来存储,或直至处理数据的处理器的限制少的大量数据应用程序。但是,当涉及到处理大量的可伸缩数据,这是一个繁忙的任务,只能通过单一的数据库瓶颈来处理这些数据。

谷歌的解决方案

使用一种称为 MapReduce 的算法谷歌解决了这个问题。这个算法将任务分成小份,并将它们分配到多台计算机,并且从这些机器收集结果并综合,形成了结果数据集。

Google MapReduce

Hadoop

使用谷歌提供的解决方案,Doug Cutting 和他的团队开发了一个开源项目叫做 HADOOP。

Hadoop 使用的 MapReduce 算法运行,其中数据在使用其他并行处理的应用程序。总之,Hadoop 用于开发可以执行完整的统计分析大数据的应用程序。

Hadoop Framework

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文