Apache Knox 网关概述

Question

Apache Knox 网关是一种系统，可将 Apache™Hadoop ® 服务的覆盖范围扩展到 Hadoop 集群外的用户，而不会减少 Hadoop 安全性。Knox 还为访问群集数据和执行作业的用户简化了 Hadoop 安全性。

Knox 与企业中使用的身份管理和 SSO 系统集成，并允许将这些系统的身份用于访问 Hadoop 集群。

Knox 网关为多个 Hadoop 集群提供安全性，具有以下优点：

• 简化访问：通过将 Kerberos 封装到群集中来扩展 Hadoop 的 REST/HTTP 服务。
• 提高安全性：暴露 Hadoop 的 REST/HTTP 服务，而不会透露网络细节，提供 SSL 开箱即用。
• 集中控制：集中执行 REST API安全性，将请求路由到多个 Hadoop 集群。
• 企业集成：支持 LDAP，AD，SSO，SAML 等认证系统。

典型安全流程：防火墙，通过 Knox 网关路由

Knox 可以与两个不安全的 Hadoop 集群和 Kerberos 安全集群一起使用。在采用 Kerberos 安全集群的企业解决方案中，Apache Knox Gateway 提供了企业安全解决方案：

• 与企业身份管理解决方案相结合
• 保护 Hadoop 集群部署的细节（主机和端口从最终用户隐藏）
• 简化客户需要交互的服务数量

Knox 网关部署体系结构

用户通过 Knox 访问 Hadoop 集群，可以使用 Apache REST API 或 Hadoop CLI 工具进行。 下图显示了 Apache Knox 如何适应 Hadoop 部署。

NN = NameNode，RM = 资源管理器，DN = DataNode，NM = NodeManager

Knox 支持的 Hadoop 服务

Apache Knox Gateway 支持 Kerberized 和 Non-Kerberized 集群中的以下 Hadoop 服务版本：

服务	版本
YARN	2.6.0
WebHDFS	2.6.0
WebHCat/Templeton	0.13.0
Oozie	4.1.0
​HBase/Stargate	0.98.4
Hive（通过WebHCat）	0.14.0
Hive（通过JDBC）	0.14.0
Ambari	2.4.0
Ranger	0.6.0