(特价书)Spark与Hadoop大数据分析

2.1.6　YARN 18
2.1.7　Hadoop上的存储选择 20
2.2　Apache Spark概述 24
2.2.1　Spark 的发展历史 24
2.2.2　Apache Spark 是什么 25
2.2.3　Apache Spark 不是什么 26
2.2.4　MapReduce 的问题 27
2.2.5　Spark 的架构 28
2.3　为何把 Hadoop 和 Spark 结合使用 31
2.3.1　Hadoop 的特性 31
2.3.2　Spark 的特性 31
2.4　安装 Hadoop 和 Spark 集群 33
2.5　小结 36
第3章　深入剖析Apache Spark 37
3.1　启动 Spark 守护进程 37
3.1.1　使用CDH 38
3.1.2　使用 HDP、MapR 和Spark 预制软件包 38
3.2　学习Spark的核心概念 39
3.2.1　使用 Spark 的方法 39
3.2.2　弹性分布式数据集 41
3.2.3　Spark 环境 43
3.2.4　变换和动作 44
3.2.5　RDD 中的并行度 46
3.2.6　延迟评估 49
3.2.7　谱系图 50
3.2.8　序列化 51
3.2.9　在 Spark 中利用 Hadoop文件格式 52
3.2.10　数据的本地性 53
3.2.11　共享变量 54
3.2.12　键值对 RDD 55
3.3　Spark 程序的生命周期 55
3.3.1　流水线 57
3.3.2　Spark 执行的摘要 58
3.4　Spark 应用程序 59
3.4.1　Spark Shell 和 Spark 应用程序 59
3.4.2　创建 Spark 环境 59
3.4.3　SparkConf 59
3.4.4　SparkSubmit 60
3.4.5　Spark 配置项的优先顺序 61
3.4.6　重要的应用程序配置 61
3.5　持久化与缓存 62
3.5.1　存储级别 62
3.5.2　应该选择哪个存储级别 63
3.6　Spark 资源管理器：Standalone、YARN和Mesos 63
3.6.1　本地和集群模式 63
3.6.2　集群资源管理器 64
3.7　小结 67
第4章　利用Spark SQL、Data-Frame和Dataset进行大数据分析 69
4.1　Spark SQL 的发展史 70
4.2　Spark SQL 的架构 71
4.3　介绍Spark SQL的四个组件 72
4.4　DataFrame 和 Dataset 的演变 74
4.4.1　RDD 有什么问题 74
4.4.2　RDD 变换与 Dataset 和DataFrame 变换 75
4.5　为什么要使用 Dataset 和DataFrame 75
4.5.1　优化 76
4.5.2　速度 76
4.5.3　自动模式发现 77
4.5.4　多数据源，多种编程语言 77
4.5.5　RDD 和其他 API 之间的互操作性 77
4.5.6　仅选择和读取必要的数据 78
4.6　何时使用 RDD、Dataset 和DataFrame 78
4.7　利用 DataFrame 进行分析 78
4.7.1　创建 SparkSession 79
4.7.2　创建 DataFrame 79
4.7.3　把DataFrame转换为RDD 82
4.7.4　常用的 Dataset/DataFrame操作 83
4.7.5　缓存数据 84
4.7.6　性能优化 84
4.8　利用 Dataset API 进行分析 85
4.8.1　创建 Dataset 85
4.8.2　把 DataFrame 转换为Dataset 86
4.8.3　利用数据字典访问元数据 87
4.9　Data Sources API 87
4.9.1　读和写函数 88
4.9.2　内置数据源 88
4.9.3　外部数据源 93
4.10　把 Spark SQL 作为分布式 SQL引擎 97
4.10.1　把 Spark SQL 的 Thrift 服务器用于 JDBC / ODBC访问 97
4.10.2　使用 beeline 客户端查询数据 98
4.10.3　使用 spark-sql CLI 从 Hive查询数据 99
4.10.4　与 BI 工具集成 100
4.11　Hive on Spark 100
4.12　小结 100
第5章　利用Spark Streaming和Structured Streaming进行实时分析 102
5.1　实时处理概述 103
5.1.1　Spark Streaming 的优缺点 104
5.1.2　Spark Streaming 的发展史 104
5.2　Spark Streaming 的架构 104
5.2.1　Spark Streaming 应用程序流 106
5.2.2　无状态和有状态的流处理 107
5.3　Spark Streaming 的变换和动作 109
5.3.1　union 109
5.3.2　join 109
5.3.3　transform 操作 109
5.3.4　updateStateByKey 109
5.3.5　mapWithState 110
5.3.6　窗口操作 110
5.3.7　输出操作 111
5.4　输入数据源和输出存储 111
5.4.1　基本数据源 112
5.4.2　高级数据源 112
5.4.3　自定义数据源 112
5.4.4　接收器的可靠性 112
5.4.5　输出存储 113
5.5　使用 Kafka 和 HBase 的 Spark Streaming 113
5.5.1　基于接收器的方法 114
5.5.2　直接方法（无接收器） 116
5.5.3　与 HBase 集成 117
5.6　Spark Streaming 的高级概念 118
5.6.1　使用 DataFrame 118
5.6.2　MLlib 操作 119
5.6.3　缓存/持久化 119
5.6.4　Spark Streaming 中的容错机制 119
5.6.5　Spark Streaming 应用程序的性能调优 121
5.7　监控应用程序 122
5.8　结构化流概述 123
5.8.1　结构化流应用程序的工作流 123
5.8.2　流式 Dataset 和流式 DataFrame 125
5.8.3　流式 Dataset 和流式DataFrame 的操作 126
5.9　小结 129
第6章　利用Spark和Hadoop的笔记本与数据流 130
6.1　基于网络的笔记本概述 130
6.2　Jupyter概述 131
6.2.1　安装 Jupyter 132
6.2.2　用 Jupyter 进行分析 134
6.3　Apache Zeppelin概述 135
6.3.1　Jupyter 和 Zeppelin对比 136
6.3.2　安装 Apache Zeppelin 137
6.3.3　使用 Zeppelin 进行分析 139
6.4　Livy REST 作业服务器和 Hue笔记本 140
6.4.1　安装设置 Livy 服务器和Hue 141
6.4.2　使用 Livy 服务器 142
6.4.3　Livy 和 Hue 笔记本搭配使用 145
6.4.4　Livy 和 Zeppelin 搭配使用 148
6.5　用于数据流的 Apache NiFi概述 148
6.5.1　安装 Apache NiFi 148
6.5.2　把 NiFi 用于数据流和分析 149
6.6　小结 152
第7章　利用Spark和Hadoop进行机器学习 153
7.1　机器学习概述 153
7.2　在 Spark 和 Hadoop 上进行机器学习 154
7.3　机器学习算法 155
7.3.1　有监督学习 156
7.3.2　无监督学习 156
7.3.3　推荐系统 157
7.3.4　特征提取和变换 157
7.3.5　优化 158
7.3.6　Spark MLlib 的数据类型 158
7.4　机器学习算法示例 160
7.5　构建机器学习流水线 163
7.5.1　流水线工作流的一个示例 163
7.5.2　构建一个 ML 流水线 164
7.5.3　保存和加载模型 166
7.6　利用 H2O 和 Spark 进行机器学习 167
7.6.1　为什么使用 Sparkling Water 167
7.6.2　YARN 上的一个应用程序流 167
7.6.3　Sparkling Water 入门 168
7.7　Hivemall概述 169
7.8　Hivemall for Spark概述 170
7.9　小结 170
第8章　利用Spark和Mahout构建推荐系统 171
8.1　构建推荐系统 171
8.1.1　基于内容的过滤 172
8.1.2　协同过滤 172
8.2　推荐系统的局限性 173
8.3　用 MLlib 实现推荐系统 173
8.3.1　准备环境 174
8.3.2　创建 RDD 175
8.3.3　利用 DataFrame 探索数据 176
8.3.4　创建训练和测试数据集 178
8.3.5　创建一个模型 178
8.3.6　做出预测 179
8.3.7　利用测试数据对模型进行评估 179
8.3.8　检查模型的准确度 180
8.3.9　显式和隐式反馈 181
8.4　Mahout 和 Spark 的集成 181
8.4.1　安装 Mahout 181
8.4.2　探索 Mahout shell 182
8.4.3　利用 Mahout 和搜索工具构建一个通用的推荐系统 186
8.5　小结 189
第9章　利用GraphX进行图分析 190
9.1　图处理概述 190
9.1.1　图是什么 191
9.1.2　图数据库和图处理系统 191
9.1.3　GraphX概述 192
9.1.4　图算法 192
9.2　GraphX 入门 193
9.2.1　GraphX 的基本操作 193
9.2.2　图的变换 198
9.2.3　GraphX 算法 202
9.3　利用 GraphX 分析航班数据 205
9.4　GraphFrames概述 209
9.4.1　模式发现 211
9.4.2　加载和保存 GraphFrames 212
9.5　小结 212
第10章　利用SparkR进行交互式分析 213
10.1　R语言和SparkR概述 213
10.1.1　R语言是什么 214
10.1.2　SparkR概述 214
10.1.3　SparkR 架构 216
10.2　SparkR 入门 216
10.2.1　安装和配置 R 216
10.2.2　使用 SparkR shell 218
10.2.3　使用 SparkR 脚本 222
10.3　在 SparkR 里使用 DataFrame 223
10.4　在 RStudio 里使用 SparkR 228
10.5　利用 SparkR 进行机器学习 230
10.5.1　利用朴素贝叶斯模型 230
10.5.2　利用 K 均值模型 232
10.6　在 Zeppelin 里使用 SparkR 233
10.7　小结 234

.　　Mac 上需要安装最新版本的 Oracle VirtualBox 或 VMWare Fusion
　　需要在 BIOS 里启用虚拟化
　　浏览器：推荐使用 Chrome 25+、IE 9+、Safari 6+或 Firefox 18+（HDP Sandbox 无法 在 IE 10 上运行）
　　Putty
　　WinScP
　　在本书的各章中会使用 Python 和 Scala 编程语言，其中 Python 的侧重程度更高。我们假设读者具备 Java、Scala、Python、SQL 或 R 语言的初级编程背景，并具有基本的 Linux 经验。如果读者在 Hadoop 平台上的大数据环境中有一些工作经验，就能比较快捷地开始构建 Spark 应用程序。
　　本书的目标读者
　　虽然本书主要是针对数据分析师和数据科学家编写的，但它也会对架构师、程序员和大数据从业者有所帮助。
　　对于数据分析师：本书可以用作数据分析人员在 Spark 和 Hadoop 上开发分析应用程序的参考指南。
　　对于数据科学家：本书可以用作在 Spark 和 Hadoop 上构建数据产品的参考指南。
　　对于架构师：本书提供了一个完整生态系统的概述和一些大数据分析应用程序的示例，有助于构建大数据分析的解决方案。
　　对于程序员：本书讲解了用 Scala 和 Python 语言构建大数据应用程序所使用的 API 和技术。
　　对于大数据从业者：本书有助于了解新的范例和技术，并做出正确的决定。
　　下载示例代码
　　你可以从 http://www.packtpub.com 的账户下载此书的示例代码文件。如果你是通过其他渠道购买了此书，可以访问 http://www.packtpub.com/support 并注册，以便将文件直接发送给你。
　　你可以通过以下步骤下载代码文件：
　　（1）使用你的电子邮件地址和密码登录或注册Packt网站。
　　（2）将鼠标指针悬停在网页顶部的 SUPPORT选项卡上。
　　（3）点击Code Downloads & Errata。
　　（4）在Search输入框里输入本书的书名。
　　（5）选择你要下载代码文件的图书。
　　（6）从你购买此书的下拉菜单中选择要下载的代码。
　　（7）点击Code Download。
　　你也可以通过点击 Packt 出版社网站上该图书对应网页上的 Code Files 按钮来下载代码文件。这个页面可以通过在搜索框中输入图书的名称来访问。请注意，你需要登录到你的 Packt 账户。
　　下载文件后，请确保你使用以下软件的最新版本来解压缩或提取文件夹：
　　WinRAR / 7-Zip for Windows
　　Zipeg / iZip / UnRarX for Mac
　　7-Zip / PeaZip for Linux
　　该书配套的代码也托管在 GitHub 上，网址为 https://github.com/PacktPublishing/big-data-analytics。在 https://github.com/PacktPublishing/上还有其他代码库，里面有丰富的书籍和视频分类。去看一下吧！
　　下载本书的彩色图像
　　本书还提供了一个PDF文件，其中包含本书中使用的截图/图表的彩色图像。这些彩色图像会帮助你更好地了解输出的变化。你可以从http://www.packtpub.com/sites/default/files/downloads/BigDataAnalyticsWithSparkAndHadoop_ColorImages.pdf 下载此文件。