大规模分布式系统架构与设计实战 PDF 文档
绝技瀛干江湖、 将军发于卒伍,本书包含作者从程序员到首席架构师十多年职业生涯所积累的实战经验。
这不是一本讲怎么使用 Hadoop 的书, 而是一本讲实现 Hadoop 功能的书, 本书系统讲解构建大规模分布式系统的核心技术和实现方法, 包含开源的代码, 手把手教你掌握分布式技术。
本书是作者从程序员到首席架构师十多年职业生涯的实战经验总结,系统讲解构建人规模分布式系统的核心技术与实现方法,包含作者开源的 Fourinone 系统的设计与实现过程,手把手教你卒握分布式技术。通过学习这个系统的实现方法与相关的理论,读者可快速华握分布式系统的理论井设计自己的分布式系统。
本书从分布式计开的基本概念开始,解剖了众多流行概念的本质,深入讲解分布式系统的某本原理与实现方式。包括 master-sl ave 结构、消息中枢膜式、网状直接交互模式、井行结合串行校式等.以及 Fourinone 系统的架构、实现分布式功能的示例。接下来详细介绍分布式协调、分布式缓存、消息队列、分布式文件系统、分布式作业调度平台的设计与实现方法,不仅包括详细的架构胚埋、算法, 还给出了实现步骤、核心 A PI 、实现代码。随书附带的光盘包括书中示例代码以及 Fouriaone 系统源代码。
目录
第 1 章 概述
1.1 分布式计算、并行计算、云计算概述
1.2 分布式产品 Hadoop、ZooKeeper、HBase 概述
1.3 Fourinone 的产生背景
第 2 章 分布式并行计算的原理与实践
2.1 分布式并行计算模式
2.1.1 最初想到的 master-slave 结构
2.1.2 “包工头-职介所-手工仓库-工人”模式
2.1.3 基于消息中枢的计算模式
2.1.4 基于网状直接交互的计算模式
2.1.5 并行结合串行模式
2.1.6 包工头内部批量多阶段处理模式
2.1.7 计算集群模式和兼容遗留计算系统
2.1.8 工人计算的服务化模式
2.2 跟 Hadoop 的区别
2.3 关于分布式的一些概念与产品
2.4 配置文件和核心 API 介绍
2.5 实践与应用
2.5.1 一个简单的示例
2.5.2 工头工人计算模式更完整的示例
2.5.3 工人合并互相 say hello 的示例
2.5.4 实现 Hadoop 经典实例 Word Count
2.5.5 分布式多机部署的示例
2.5.6 分布式计算自动部署的示例
2.5.7 计算过程中的故障和容灾处理
2.5.8 计算过程中的相关时间属性设置
2.5.9 如何在一台计算机上一次性启动多个进程
2.5.10 如何调用 C/C++程序实现
2.5.11 如何中止工人计算和超时中止
2.5.12 使用并行计算大幅提升递归算法效率
2.5.13 使用并行计算求圆周率π
2.5.14 从赌钱游戏看 PageRank 算法
2.5.15 使用并行计算实现上亿排序
2.5.16 工人服务化模式应用示例
2.6 实时流计算
第 3 章 分布式协调的实现
3.1 协调架构原理简介
3.2 核心 API
3.3 权限机制
3.4 相对于 ZooKeeper 的区别
3.5 与 Paxos 算法的区别
3.6 实践与应用
3.6.1 如何实现公共配置管理
3.6.2 如何实现分布式锁
3.6.3 如何实现集群管理
3.6.4 多节点权限操作示例
3.6.5 领导者选举相关属性设置
第 4 章 分布式缓存的实现
4.1 小型网站或企业应用的缓存实现架构
4.2 大型分布式缓存系统实现过程
4.3 一致性哈希算法的原理、改进和实现
4.4 解决任意扩容的问题
4.5 解决扩容后数据均匀的问题
4.6 分布式 Session 的架构设计和实现
4.7 缓存容量的相关属性设置
4.8 缓存清空的相关属性设置
第 5 章 消息队列的实现
5.1 闲话中间件与 MQ
5.2 JMS 的两种经典模式
5.3 如何实现发送接收的队列模式
5.4 如何实现主题订阅模式
第 6 章 分布式文件系统的实现
6.1 FTTP 架构原理解析
6.2 搭建配置 FttpAdapter 环境
6.3 访问集群文件根目录
6.4 访问和操作远程文件
6.5 集群内文件复制和并行复制
6.6 读写远程文件
6.7 解析远程文件
6.8 并行读写远程文件
6.9 批量并行读写远程文件和事务补偿处理
6.10 如何进行整型读写
6.11 基于整型读写的上亿排序
第 7 章 分布式作业调度平台的实现
7.1 调度平台的设计与实现
7.2 资源隔离的实现
7.3 资源调度算法
7.4 其他作业调度平台简介
7.4.1 其他 MPI 作业资源调度技术
7.4.2 Mesos 和 Yarn 简介
下载地址:https://www.wenjiangs.com/wp-content/uploads/2024/02/pokmJru7EX2W9MBL.zip
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论