- Logstash
- Logstash - 入门示例
- 入门示例 - 下载安装
- 入门示例 - hello world
- 入门示例 - 配置语法
- 入门示例 - plugin的安装
- 入门示例 - 长期运行
- Logstash - 插件配置
- 插件配置 - input配置
- input配置 - file
- input配置 - stdin
- input配置 - syslog
- input配置 - tcp
- 插件配置 - codec配置
- codec配置 - json
- codec配置 - multiline
- codec配置 - collectd
- codec配置 - netflow
- 插件配置 - filter配置
- filter配置 - date
- filter配置 - grok
- filter配置 - dissect
- filter配置 - geoip
- filter配置 - json
- filter配置 - kv
- filter配置 - metrics
- filter配置 - mutate
- filter配置 - ruby
- filter配置 - split
- filter配置 - elapsed
- 插件配置 - output配置
- output配置 - elasticsearch
- output配置 - email
- output配置 - exec
- output配置 - file
- output配置 - nagios
- output配置 - statsd
- output配置 - stdout
- output配置 - tcp
- output配置 - hdfs
- Logstash - 场景示例
- 场景示例 - nginx访问日志
- 场景示例 - nginx错误日志
- 场景示例 - postfix日志
- 场景示例 - ossec日志
- 场景示例 - windows系统日志
- 场景示例 - Java日志
- 场景示例 - MySQL慢查询日志
- Logstash - 性能与测试
- 性能与测试 - generator方式
- 性能与测试 - 监控方案
- 监控方案 - logstash-input-heartbeat方式
- 监控方案 - jmx启动参数方式
- 监控方案 - API方式
- Logstash - 扩展方案
- 扩展方案 - 通过redis传输
- 扩展方案 - 通过kafka传输
- 扩展方案 - AIX 平台上的logstash-forwarder-java
- 扩展方案 - rsyslog
- 扩展方案 - nxlog
- 扩展方案 - heka
- 扩展方案 - fluent
- 扩展方案 - Message::Passing
- Logstash - 源码解析
- 源码解析 - pipeline流程
- 源码解析 - Event的生成
- Logstash - 插件开发
- 插件开发 - utmp插件示例
- Beats
- Beats - filebeat
- Beats - packetbeat网络流量分析
- Beats - metricbeat
- Beats - winlogbeat
- ElasticSearch
- ElasticSearch - 架构原理
- 架构原理 - segment、buffer和translog对实时性的影响
- 架构原理 - segment merge对写入性能的影响
- 架构原理 - routing和replica的读写过程
- 架构原理 - shard的allocate控制
- 架构原理 - 自动发现的配置
- ElasticSearch - 接口使用示例
- 接口使用示例 - 增删改查操作
- 接口使用示例 - 搜索请求
- 接口使用示例 - Painless脚本
- 接口使用示例 - reindex接口
- ElasticSearch - 性能优化
- 性能优化 - bulk提交
- 性能优化 - gateway配置
- 性能优化 - 集群状态维护
- 性能优化 - 缓存
- 性能优化 - fielddata
- 性能优化 - curator工具
- 性能优化 - profile接口
- ElasticSearch - rally测试方案
- ElasticSearch - 多集群互联
- ElasticSearch - 别名的应用
- ElasticSearch - 映射与模板的定制
- ElasticSearch - puppet-elasticsearch模块的使用
- ElasticSearch - 计划内停机升级的操作流程
- ElasticSearch - 镜像备份
- ElasticSearch - rollover和shrink
- ElasticSearch - Ingest节点
- ElasticSearch - Hadoop 集成
- Hadoop 集成 - spark streaming交互
- ElasticSearch - 权限管理
- 权限管理 - Shield
- 权限管理 - Search-Guard 在 Elasticsearch 2.x 上的运用
- ElasticSearch - 监控方案
- 监控方案 - 监控相关接口
- 监控相关接口 - 集群健康状态
- 监控相关接口 - 节点状态
- 监控相关接口 - 索引状态
- 监控相关接口 - 任务管理
- 监控相关接口 - cat 接口的命令行使用
- 监控方案 - 日志记录
- 监控方案 - 实时bigdesk方案
- 监控方案 - cerebro
- 监控方案 - zabbix trapper方案
- ElasticSearch - ES在运维监控领域的其他玩法
- ES在运维监控领域的其他玩法 - percolator接口
- ES在运维监控领域的其他玩法 - watcher报警
- ES在运维监控领域的其他玩法 - ElastAlert
- ES在运维监控领域的其他玩法 - 时序数据库
- ES在运维监控领域的其他玩法 - Grafana
- ES在运维监控领域的其他玩法 - juttle
- ES在运维监控领域的其他玩法 - Etsy的Kale异常检测
- Kibana 5
- Kibana 5 - 安装、配置和运行
- Kibana 5 - 生产环境部署
- Kibana 5 - discover功能
- Kibana 5 - 各visualize功能
- 各visualize功能 - area
- 各visualize功能 - table
- 各visualize功能 - line
- 各visualize功能 - markdown
- 各visualize功能 - metric
- 各visualize功能 - pie
- 各visualize功能 - tile map
- 各visualize功能 - vertical bar
- Kibana 5 - dashboard功能
- Kibana 5 - timelion 介绍
- Kibana 5 - console 介绍
- Kibana 5 - setting功能
- Kibana 5 - 常用sub agg示例
- 常用sub agg示例 - 函数堆栈链分析
- 常用sub agg示例 - 分图统计
- 常用sub agg示例 - TopN的时序趋势图
- 常用sub agg示例 - 响应时间的百分占比趋势图
- 常用sub agg示例 - 响应时间的概率分布在不同时段的相似度对比
- Kibana 5 - 源码解析
- 源码解析 - .kibana索引的数据结构
- 源码解析 - 主页入口
- 源码解析 - discover解析
- 源码解析 - visualize解析
- 源码解析 - dashboard解析
- Kibana 5 - 插件
- 插件 - 可视化开发示例
- 插件 - 后端开发示例
- 插件 - 完整app开发示例
- Kibana 5 - Kibana报表
- 竞品对比
权限管理 - Shield
本节作者:cameluo
Shield 是 Elastic 公司官方发布的权限管理产品。其主要特性包括:
- 提供集群节点身份验证和集群数据访问身份验证
- 提供基于身份角色的细粒度资源和行为访问控制,细到索引级别的读写控制
- 提供节点间数据传输通道加密保护输出传输安全
- 提供审计功能
- 以插件的形式发布
License管理策略
Shield 是一款商业产品,不过提供 30 天免费试用,试用期间是全功能的。过期后集群会不再正常工作。
Shield架构
用户认证:
Shield 通过定义一套用户集合来认证用户,采用抽象的域方式定义用户集合,支持本地用户(esusers 域)和 LDAP 用户(含 AD)。
- Shield 提供工具
./bin/shield/esusers
用于创建和管理本地用户。 - 集成 LDAP 认证支持映射 LDAP 安全组到 Shield 角色,LDAP 安全组与 Shield 角色可以是多对多的关系。
Shield 支持定义多个认证域,采用order字段进行优先级排序。如一个本地域 esusers,order=1,加一个 LDAP 域,order=2。如果用户不再本地用户域中则在 LDAP 域中查找验证。
./config/shield/roles.yml
文件中定义角色和角色的所拥有的权限。./config/shield/group_to_role_mapping.yml
文件中定义 LDAP 组到角色映射关系。
节点认证与通道加密:
使用SSL/TLS证书进行相互认证和通讯加密。加密是可选配置。如果不使用,shield 节点之间可以进行简单的密码验证(明文传输)。
授权:
Shield 采用 RBAC 授权模型,数据模型包含如下元素:
- 受保护资源(Secured Resource):控制用户访问的客体,包括 cluster、index/alias 等等。
- 权能(Priviliege):用户可以对受保护资源执行的一种或多种操作,如 read, write 等。
- 许可(Permissions):对被保护的资源拥有的一个或多个权能,如 read on the “products” index。
- 角色(Role):命名的一组许可。
- 用户(Users):用户实体,可以被赋予 0 个或多种角色,授权他们对被保护的资源执行各种权能。
审计:
增加认证尝试、授权失败等安全相关事件和活动日志。
安装
- 安装 License 和 Shield 插件
bin/plugin -i elasticsearch/license/latest
bin/plugin -i elasticsearch/shield/latest
注意:初次运行 Shield 需要重新启动 ES 集群。后续更新 License(license.json 为 License 文件)就可以在线运行:
# curl -XPUT -u admin 'http://127.0.0.1:9200/_licenses' -d @license.json
- 创建本地管理员:
./bin/shield/esusers useradd esadmin -r admin
配置
这里使用简单的配置先完成基本验证:使用纯本地用户认证或者使用本地认证 + 基本的 ldap 认证。
ES 配置
在elasticsearch.yml中增加如下配置:
hostname_verification: false
#shield.ssl.keystore.path: /app/elasticsearch/node01.jks
#shield.ssl.keystore.password: xxxxxx
shield:
authc:
realms:
default:
type: esusers
order: 1
ldaprealm:
type: ldap
order: 2
url: "ldap://ldap.example.com:389"
bind_dn: "uid=ldapuser, ou=users, o=services, dc=example, dc=com"
bind_password: changeme
user_search:
base_dn: "dc=example,dc=com"
attribute: uid
group_search:
base_dn: "dc=example,dc=com"
files:
role_mapping: "/app/elasticsearch/shield/group_to_role_mapping.yml"
unmapped_groups_as_roles: false
角色配置
根据默认配置文件增减角色和访问控制权限。角色配置文件可以在线修改,保存后立即生效:
([INFO ][shield.authz.store ] [Winky Man] updated roles (roles file [/opt/elasticsearch/config/shield/roles.yml] changed))
注意:如果需要集成kibana认证,用户角色也需要有访问’.kibana’索引的访问权限和cluster:monitor/nodes/info的访问权限,具体参照kibana4角色中的定义,否则用户通过kibana认证后仍然无法访问到数据索引
用户组与角色映射配置
根据默认配置文件增减用户、用户组与角色配置中定义角色的映射关系,可以灵活实现各种需求。LDAP组仅支持安全组,不支持动态组。这个配置文件可以在线修改,保存后立即生效:
([INFO ][shield.authc.ldap.support] [Vishanti] role mappings file [/opt/elasticsearch/config/shield/group_to_role_mapping.yml] changed for realm [ldap/ldaprealm]. updating mappings…)
测试
curl -u username http://127.0.0.1:9200/
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论