hadoop 安全性概述

Question

hadoop 是一个复杂的分布式系统，hadoop安全性面对的挑战：

• 在Hadoop中，文件系统被分区和分发，需要在多个点进行授权检查。
• 在某节点提交的作业，稍后将在其他节点上执行。
• 辅助服务，如工作流系统，代表用户访问Hadoop(用户模拟)。
• Hadoop集群可扩展到数千台服务器和数万个并发任务。

Hortonworks 采用基于五个核心安全特性的整体方法：

1. 管理(Administration)
2. 认证和周边安全
3. 授权
4. 审计
5. 数据保护

不能通过使用各种各样的点解决方案来实现Hadoop堆栈的全面保护。安全性必须是构建Data Lake的平台的组成部分。这种自下而上的方法使得可以通过中央管理点来实施和管理整个堆栈的安全性，从而防止差距和不一致。

HDP 包括功能强大的数据安全功能，可在组件技术上工作，并与现有的EDW，RDBMS和MPP系统集成。

HDP 安全功能

HDP使用Apache Ranger提供集中的安全管理和管理。Ranger管理门户是安全管理的中心接口。您可以使用Ranger创建和更新策略，然后存储在策略数据库中。Ranger插件（轻量级Java程序）嵌入在每个集群组件的进程中。

这些插件从中央服务器提取策略，并将其存储在文件中。当用户请求通过该组件时，这些插件拦截请求并根据安全策略进行评估。插件还可以从用户请求中收集数据，并按照单独的线程将此数据发送回审计服务器。

1.管理(Administration)

为了提供一致的安全管理和管理，Hadoop管理员需要一个集中的用户界面，可用于在所有Hadoop堆栈组件中一致地定义，管理和管理安全策略：

Ranger 集中安全管理

Apache Ranger管理控制台为Hadoop安全的其他四个支柱提供了一个中心管理点。

游侠管理控制台

2. 认证和周边安全

通过强大的认证建立用户身份是Hadoop中安全访问的基础。用户需要可靠地识别自己，然后在整个Hadoop集群中传播身份才能访问集群资源。Hortonworks使用Kerberos进行身份验证。Kerberos是用于对Hadoop集群中的用户和资源进行身份验证的行业标准。HDP还包括Ambari，它简化了Kerberos设置，配置和维护。

Apache Knox Gateway用于帮助确保Hortonworks客户的周边安全。使用Knox，企业可以自信地将Hadoop REST API扩展到没有Kerberos复杂性的新用户，同时还保持企业安全策略的合规性。Knox为Hadoop REST API提供了一个中心网关，这些API具有不同程度的授权，身份验证，SSL和SSO功能，可以为Hadoop提供单个接入点。

Apache Knox 功能

3. 授权

Ranger通过用户界面管理访问控制，确保跨Hadoop数据访问组件统一的策略管理。安全管理员可以在数据库，表，列和文件级别定义安全策略，并可以管理特定的基于LDAP的组或单个用户的权限。基于动态条件（如时间或地理位置）的规则也可以添加到现有策略规则中。Ranger授权模式是可插拔的，可以使用基于服务的定义轻松地扩展到任何数据源。

管理员可以使用Ranger为以下Hadoop组件定义集中式安全策略：

• HDFS
• YARN
• Hive
• HBase
• Storm
• Knox
• Solr
• Kafka

Ranger 在每个Hadoop组件中使用标准授权API，并且可以对用于访问数据湖的任何方法执行集中管理的策略。

游侠安全政策定义

Ranger为管理员提供了对审计所需的安全管理过程的深入了解。丰富的用户界面和深度审计可见性的组合使得Ranger可以高度直观地使用，从而提高安全管理员的生产力。

游侠安全政策概述

4. 审计

随着客户将Hadoop部署到企业数据和处理环境中，元数据和数据治理必须是任何企业级数据湖的重要组成部分。为此，Hortonworks 与Aetna，Merck，Target和SAS建立了数据治理计划（DGI），为Hadoop数据治理引入开源社区。此举已经演变成一个名为Apache Atlas的新开源项目。Apache Atlas是一套核心治理服务，使企业能够在Hadoop中满足其合规性要求，同时也可以与完整的企业数据生态系统集成。这些服务包括：

• 数据集搜索和谱系操作
• 元数据驱动的数据访问控制
• 索引和可搜索的集中审核
• 从摄入到处置的数据生命周期管理
• 元数据与其他工具交换 Ranger还提供了一个收集访问审计历史并报告此数据的集中框架，包括对各种参数进行过滤。HDP增强了Hadoop内不同组件中捕获的审核信息，并通过此集中报告功能提供了洞察。

5. 数据保护

数据保护功能使数据在通过网络传输和静止在磁盘上无法读取。HDP通过使用透明数据加密（TDE）来加密HDFS文件的数据，以及Ranger嵌入式开源Hadoop密钥管理存储（KMS）来满足安全性和合规性要求。Ranger使安全管理员可以管理KMS的密钥和授权策略。Hortonworks还与其加密合作伙伴广泛合作，将HDFS加密与企业级关键管理框架相集成。

加密HDFS，结合Ranger维护的KMS访问策略，防止流氓Linux或Hadoop管理员访问数据，并支持对数据访问和加密的职责分离。