Spark 高级数据分析 PDF 文档

Question

本书是使用 Spark 进行大规模数据分析的实战宝典，由著名大数据公司 Cloudera 的数据科学家撰写。四位作者首先结合数据科学和大数据分析的广阔背景讲解了 Spark，然后介绍了用 Spark 和 Scala 进行数据处理的基础知识，接着讨论了如何将 Spark 用于机器学习，同时介绍了常见应用中几个最常用的算法。此外还收集了一些更加新颖的应用，比如通过文本隐含语义关系来查询 Wikipedia 或分析基因数据。

本书适合从事大数据分析的各类专业人员阅读。

数据的爆炸式增长和隐藏在这些数据背后的商业价值催生了一代又一代的大数据处理技术。 十年前 Hadoop 横空出世，Cloudera 首席架构师 Doug Cutting 先生将 Google 的MapReduce 思想用开源的方式实现出来，由此拉开了基于 MapReduce 的大数据处理框架在企业中应用的序幕。最近几年，Hadoop 生态系统又发展出以 Spark 为代表的新计算框架。相比 MapReduce，Spark 速度快，开发简单，并且能同时兼顾批处理和实时数据分析。

Spark 起源于加州大学伯克利分校的 AMPLab，Cloudera 公司作为大数据市场上的翘楚很早就开始将 Spark 推广到广大企业级客户并积累了大量的经验。Advanced Analysis with Spark 一书正是这些经验的结晶。

另一方面，企业级用户在引入 Spark 技术时碰到的最大难题之一就是能够灵活应用 Spark 技术的人才匮乏。听闻 Cloudera 中国公司的龚少成在与图灵公司一起为 Advanced Analysis with Spark 一书的中文版在日夜奋战，我便欣然作序，也算是为国内企业更好地应用 Spark 技术尽自己的一份力量！

目录
前言
第 1 章 大数据分析
1.1 数据科学面临的挑战
1.2 认识 Apache Spark
1.3 关于本书
第 2 章 用 Scala 和 Spark 进行数据分析
2.1 数据科学家的 Scala
2.2 Spark 编程模型
2.3 记录关联问题
2.4 小试牛刀：Spark shell 和 SparkContext
2.5 把数据从集群上获取到客户端
2.6 把代码从客户端发送到集群
2.7 用元组和 case class 对数据进行结构化
2.8 聚合
2.9 创建直方图
2.10 连续变量的概要统计
2.11 为计算概要信息创建可重用的代码
2.12 变量的选择和评分简介
2.13 小结
第 3 章 音乐推荐和 Audioscrobbler 数据集
3.1 数据集
3.2 交替最小二乘推荐算法
3.3 准备数据
3.4 构建第一个模型
3.5 逐个检查推荐结果
3.6 评价推荐质量
3.7 计算 AUC
3.8 选择超参数
3.9 产生推荐
3.10 小结
第 4 章 用决策树算法预测森林植被
4.1 回归简介
4.2 向量和特征
4.3 样本训练
4.4 决策树和决策森林
4.5 Covtype 数据集
4.6 准备数据
4.7 第一棵决策树
4.8 决策树的超参数
4.9 决策树调优
4.10 重谈类别型特征
4.11 随机决策森林
4.12 进行预测
4.13 小结
第 5 章 基于 K 均值聚类的网络流量异常检测
5.1 异常检测
5.2 K-均值聚类
5.3 网络入侵
5.4 KDD Cup 1999 数据集
5.5 初步尝试聚类
5.6 K 的选择
5.7 基于 R 的可视化
5.8 特征的归范化
5.9 类别型变量
5.10 利用标号的熵信息
5.11 聚类实战
5.12 小结
第 6 章 基于潜在语义分析算法分析维基百科
6.1 词项-文档矩阵
6.2 获取数据
6.3 分析和准备数据
6.4 词形归并
6.5 计算 TF-IDF
6.6 奇异值分解
6.7 找出重要的概念
6.8 基于低维近似的查询和评分
6.9 词项-词项相关度
6.10 文档-文档相关度
6.11 词项-文档相关度
6.12 多词项查询
6.13 小结
第 7 章 用 GraphX 分析伴生网络
7.1 对 MEDLINE 文献引用索引的网络分析
7.2 获取数据
7.3 用 Scala XML 工具解析 XML 文档
7.4 分析 MeSH 主要主题及其伴生关系
7.5 用 GraphX 来建立一个伴生网络
7.6 理解网络结构
7.6.1 连通组件
7.6.2 度的分布
7.7 过滤噪声边
7.7.1 处理 EdgeTriplet
7.7.2 分析去掉噪声边的子图
7.8 小世界网络
7.8.1 系和聚类系数
7.8.2 用 Pregel 计算平均路径长度
7.9 小结
第 8 章 纽约出租车轨迹的空间和时间数据分析
8.1 数据的获取
8.2 基于 Spark 的时间和空间数据分析
8.3 基于 JodaTime 和 NScalaTime 的时间数据处理
8.4 基于 Esri Geometry API 和 Spray 的地理空间数据处理
8.4.1 认识 Esri Geometry API
8.4.2 GeoJSON 简介
8.5 纽约市出租车客运数据的预处理
8.5.1 大规模数据中的非法记录处理
8.5.2 地理空间分析
8.6 基于 Spark 的会话分析
8.7 小结
第 9 章 基于蒙特卡罗模拟的金融风险评估
9.1 术语
9.2 VaR 计算方法
9.2.1 方差-协方差法
9.2.2 历史模拟法
9.2.3 蒙特卡罗模拟法
9.3 我们的模型
9.4 获取数据
9.5 数据预处理
9.6 确定市场因素的权重
9.7 采样
9.8 运行试验
9.9 回报分布的可视化
9.10 结果的评估
9.11 小结
第 10 章 基因数据分析和 BDG 项目
10.1 分离存储与模型
10.2 用 ADAM CLI 导入基因学数据
10.3 从 ENCODE 数据预测转录因子结合位点
10.4 查询 1000 Genomes 项目中的基因型
10.5 小结
第 11 章 基于 PySpark 和 Thunder 的神经图像数据分析
11.1 PySpark 简介
11.2 Thunder 工具包概况和安装
11.3 用 Thunder 加载数据
11.4 用 Thunder 对神经元进行分类
11.5 小结
附录 A Spark 进阶
附录 B 即将发布的 MLlib Pipelines API

下载地址：https://www.wenjiangs.com/wp-content/uploads/2024/02/yoczsQFea9IgxfDt.zip