hadoop

hadoop

文章 899 浏览 339

Hadoop 中的调度

可插入式调度器框架简介 Hadoop 是一个通用系统,可以对一组分散的节点上的数据进行高性能处理。这样的定义也说明,Hadoop 是一个多任务系统,它可以…

苯莒 2023-05-22 19:56:26 54 0 0

Hadoop 压缩实现分析

随着云时代的来临,大数据(Big data)也获得了越来越多的关注。著云台的分析师团队认为,大数据(Big data)通常用来形容一个公司创造的大量非结构化…

铃予 2023-05-15 12:35:36 52 0 0

hadoop 基础 - hadoop 编程环境搭建与开发

开发环境 idea + mac 新建项目 新建项目 新建项目使用 maven 的方式并选择 java8(可编辑选择已安装的 java 版本) 填入 Groupid(GroupID 是项目组织…

也只是曾经 2023-04-20 21:41:07 77 0 0

英特尔 IT 部署 Apache Hadoop* 英特尔分发版软件的最佳实践

在认识到大数据对于商业智能(business intelligence, 简称 BI)的价值后,英特尔 于 2011 年开始研发基于 Apache Hadoop* 开源软件框架的大数据平台…

JSmiles 2022-03-28 12:53:22 1156 0 0

Ranger 安装和测试

ranger 是一个 hadoop 安全服务,开源自 hortonworks,官网地址:ranger.apache.org。另一个类似的 hadoop 安全服务 sentry 开源自 cloudera。 安装 R…

JSmiles 2021-05-09 22:21:27 1831 0 0

Hadoop 介绍

HDFS HDFS 的设计 HDFS 以流式数据访问模式来存储超大文件,运行于商用硬件集群上。 1. 超大文件 在这里指具有几百GB甚至几百TB大小的文件 流式数据访…

JSmiles 2021-04-27 13:57:16 1653 0 0

Hadoop 使用 Flume 录入大数据

Hadoop 被设计用来处理很大量的数据。通常认为这些数据已经存储在 HDFS,或者可以大量复制。然而很多系统不满足这些假设。这些系统产生大量的数据流需…

JSmiles 2021-04-25 13:53:18 1559 0 0

Hadoop 集群设置

目的 本文描述了如何在几个节点到成千上万节点的环境中安装和配置Hadoop集群。为了更好的使用Hadoop,首先应该在单节点服务器上安装(参考单节点安装H…

JSmiles 2021-04-23 13:24:41 1809 0 0

Hadoop 集群与安全

HDFS 安全 采用了类似 linux 文件系统的权限模式。每个文件都拥有用户、组所有者以及权限设置。这些权限控制了用户对于特定目录或文件的访问。 操作系…

JSmiles 2021-04-21 23:56:09 1100 0 0

Hadoop 数据提取和客户端访问安全

边缘节点 边缘节点托管web接口、代理和客户端配置。边缘节点部署的服务有: HDFS HttpFS and NFS gateway Hive HiveServer2 and WebHCatServer Networ…

JSmiles 2021-04-19 23:54:54 1086 0 0

Hadoop 授权

身份验证仅仅是整体安全性故事的一部分,还需要一种方法来对经过身份验证的用户可以访问的操作或数据进行建模。以这种方式保护资源称为授权。 HDFS 授…

JSmiles 2021-04-17 23:53:17 1538 0 0

Hadoop 中的 Kerberos id 和 认证

Kerberos 没有提供先进 id 功能,如分组和角色。特别是,Kerberos 将 id 表示为一个简单的两部分字符串或表示服务时的三部分字符串,一个短名称和一个…

JSmiles 2021-04-15 23:50:01 1795 0 0

O'reilly Hadoop Security

kerberos 主体 principal 分成两类:用户主体 UPN 和服务主体 SPN。 KDC由三个组件组成:Kerberos 数据库,认证服务(AS)和票证授予服务(TGS)。 主…

JSmiles 2021-04-15 21:08:02 1288 0 0

hadoop 用户认证 Kerberos 介绍

Kerberos 的概述 强大的认证和建立用户身份是Hadoop安全访问的基础。 用户需要能够可靠地“证明”自身,然后在整个Hadoop集群中传播该身份。一旦这样…

JSmiles 2021-04-13 21:04:09 2284 0 0

hadoop 安全性概述

hadoop 是一个复杂的分布式系统,hadoop安全性面对的挑战: 在Hadoop中,文件系统被分区和分发,需要在多个点进行授权检查。 在某节点提交的作业,稍…

JSmiles 2021-04-11 20:54:33 1632 0 0
更多

推荐作者

lorenzathorton8

文章 0 评论 0

Zero

文章 0 评论 0

萧瑟寒风

文章 0 评论 0

mylayout

文章 0 评论 0

tkewei

文章 0 评论 0

17818769742

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文