Kafka 入门与实践 PDF 文档
Kafka 入门与实践 以 Kafka 0.10.1.1 版本以基础,对 Kafka 的基本组件的实现细节及其基本应用进行了详细介绍,同时,通过对 Kafka 与当前大数据主流框架整合应用案例的讲解,进一步展现了 Kafka 在实际业务中的作用和地位。本书共 10 章,按照从抽象到具体、从点到线再到面的学习思维模式,由浅入深,理论与实践相结合,对 Kafka 进行了分析讲解。
目录
第 1 章 Kafka 简介
1.1 Kafka 背景
1.2 Kafka 基本结构
1.3 Kafka 基本概念
1.4 Kafka 设计概述
1.4.1 Kafka 设计动机
1.4.2 Kafka 特性
1.4.3 Kafka 应用场景
1.5 本书导读
1.6 小结
第 2 章 Kafka 安装配置
2.1 基础环境配置
2.1.1 JDK 安装配置
2.1.2 SSH 安装配置
2.1.3 ZooKeeper 环境
2.2 Kafka 单机环境部署
2.2.1 Windows 环境安装 Kafka
2.2.2 Linux 环境安装 Kafka
2.3 Kafka 伪分布式环境部署
2.4 Kafka 集群环境部署
2.5 Kafka Manager 安装
2.6 Kafka 源码编译
2.6.1 Scala 安装配置
2.6.2 Gradle 安装配置
2.6.3 Kafka 源码编译
2.6.4 Kafka 导入 Eclipse
2.7 小结
第 3 章 Kafka 核心组件
3.1 延迟操作组件
3.1.1 DelayedOperation
3.1.2 DelayedOperationPurgatory
3.1.3 DelayedProduce
3.1.4 DelayedFetch
3.1.5 DelayedJoin
3.1.6 DelayedHeartbeat
3.1.7 DelayedCreateTopics
3.2 控制器
3.2.1 控制器初始化
3.2.2 控制器选举过程
3.2.3 故障转移
3.2.4 代理上线与下线
3.2.5 主题管理
3.2.6 分区管理
3.3 协调器
3.3.1 消费者协调器
3.3.2 组协调器
3.4 网络通信服务
3.4.1 Acceptor
3.4.2 Processor
3.4.3 RequestChannel
3.4.4 SocketServer 启动过程
3.5 日志管理器
3.5.1 Kafka 日志结构
3.5.2 日志管理器启动过程
3.5.3 日志加载及恢复
3.5.4 日志清理
3.6 副本管理器
3.6.1 分区
3.6.2 副本
3.6.3 副本管理器启动过程
3.6.4 副本过期检查
3.6.5 追加消息
3.6.6 拉取消息
3.6.7 副本同步过程
3.6.8 副本角色转换
3.6.9 关闭副本
3.7 Handler
3.8 动态配置管理器
3.9 代理健康检测
3.10 Kafka 内部监控
3.11 小结
第 4 章 Kafka 核心流程分析
4.1 KafkaServer 启动流程分析
4.2 创建主题流程分析
4.2.1 客户端创建主题
4.2.2 分区副本分配
4.3 生产者
4.3.1 Eclipse 运行生产者源码
4.3.2 生产者重要配置说明
4.3.3 OldProducer 执行流程
4.3.4 KafkaProducer 实现原理
4.4 消费者
4.4.1 旧版消费者
4.4.2 KafkaConsumer 初始化
4.4.3 消费订阅
4.4.4 消费消息
4.4.5 消费偏移量提交
4.4.6 心跳探测
4.4.7 分区数与消费者线程的关系
4.4.8 消费者平衡过程
4.5 小结
第 5 章 Kafka 基本操作实战
5.1 KafkaServer 管理
5.1.1 启动 Kafka 单个节点
5.1.2 启动 Kafka 集群
5.1.3 关闭 Kafka 单个节点
5.1.4 关闭 Kafka 集群
5.2 主题管理
5.2.1 创建主题
5.2.2 删除主题
5.2.3 查看主题
5.2.4 修改主题
5.3 生产者基本操作
5.3.1 启动生产者
5.3.2 创建主题
5.3.3 查看消息
5.3.4 生产者性能测试工具
5.4 消费者基本操作
5.4.1 消费消息
5.4.2 单播与多播
5.4.3 查看消费偏移量
5.4.4 消费者性能测试工具
5.5 配置管理
5.5.1 主题级别配置
5.5.2 代理级别设置
5.5.3 客户端/用户级别配置
5.6 分区操作
5.6.1 分区 Leader 平衡
5.6.2 分区迁移
5.6.3 增加分区
5.6.4 增加副本
5.7 连接器基本操作
5.7.1 独立模式
5.7.2 REST 风格 API 应用
5.7.3 分布式模式
5.8 Kafka Manager 应用
5.9 Kafka 安全机制
5.9.1 利用 SASL/PLAIN 进行身份认证
5.9.2 权限控制
5.10 镜像操作
5.11 小结
第 6 章 Kafka API 编程实战
6.1 主题管理
6.1.1 创建主题
6.1.2 修改主题级别配置
6.1.3 增加分区
6.1.4 分区副本重分配
6.1.5 删除主题
6.2 生产者 API 应用
6.2.1 单线程生产者
6.2.2 多线程生产者
6.3 消费者 API 应用
6.3.1 旧版消费者 API 应用
6.3.2 新版消费者 API 应用
6.4 自定义组件实现
6.4.1 分区器
6.4.2 序列化与反序列化
6.5 Spring 与 Kafka 整合应用
6.5.1 生产者
6.5.2 消费者
6.6 小结
第 7 章 Kafka Streams
7.1 Kafka Streams 简介
7.2 Kafka Streams 基本概念
7.2.1 流
7.2.2 流处理器
7.2.3 处理器拓扑
7.2.4 时间
7.2.5 状态
7.2.6 KStream 和 KTable
7.2.7 窗口
7.3 Kafka Streams API 介绍
7.3.1 KStream 与 KTable
7.3.2 窗口操作
7.3.3 连接操作
7.3.4 变换操作
7.3.5 聚合操作
7.4 接口恶意访问自动检测
7.4.1 应用描述
7.4.2 具体实现
7.5 小结
第 8 章 Kafka 数据采集应用
8.1 Log4j 集成 Kafka 应用
8.1.1 应用描述
8.1.2 具体实现
8.2 Kafka 与 Flume 整合应用
8.2.1 Flume 简介
8.2.2 Flume 与 Kafka 比较
8.2.3 Flume 的安装配置
8.2.4 Flume 采集日志写入 Kafka
8.3 Kafka 与 Flume 和 HDFS 整合应用
8.3.1 Hadoop 安装配置
8.3.2 Flume 采集 Kafka 消息写入 HDFS
8.4 小结
第 9 章 Kafka 与 ELK 整合应用
9.1 ELK 环境搭建
9.1.1 Elasticsearch 安装配置
9.1.2 Logstash 安装配置
9.1.3 Kibana 安装配置
9.2 Kafka 与 Logstash 整合
9.2.1 Logstash 收集日志到 Kafka
9.2.2 Logstash 从 Kafka 消费日志
9.3 日志采集分析系统
9.3.1 Flume 采集日志配置
9.3.2 Logstash 拉取日志配置
9.3.3 Kibana 日志展示
9.4 服务器性能监控系统
9.4.1 Metricbeat 安装
9.4.2 采集信息存储到 Elasticsearch
9.4.3 加载 beats-dashboards
9.4.4 服务器性能监控系统具体实现
9.5 小结
第 10 章 Kafka 与 Spark 整合应用
10.1 Spark 简介
10.2 Spark 基本操作
10.2.1 Spark 安装
10.2.2 Spark shell 应用
10.2.3 spark-submit 提交作业
10.3 Spark 在智能投顾领域应用
10.3.1 应用描述
10.3.2 具体实现
10.4 热搜词统计
10.4.1 应用描述
10.4.2 具体实现
10.5 小结
下载地址:https://www.wenjiangs.com/wp-content/uploads/2024/02/t9OJHBqElFrfnnhd.zip
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论