[套装书]Spark Streaming实时流式大数据处理实战+Flink原理、实战与性能优化（2册）

. 重点讲解了Flink的监控和优化，参数调优，以及对反压、Checkpoint和内存的优化。

2.2.3 Standalone模式 14
2.2.4 Spark On Yarn模式 15
2.2.5 Spark On Mesos模式 15
2.3 搭建开发环境 15
2.3.1 修改配置 16
2.3.2 启动集群 18
2.3.3 IDE配置 20
2.3.4 UI监控界面 24
2.4 实例——Spark文件词频统计 28
2.5 本章小结 35
第3章 Spark编程模型 36
3.1 RDD概述 36
3.2 RDD存储结构 37
3.3 RDD操作 38
3.3.1 Transformation操作 38
3.3.2 Action操作 41
3.4 RDD间的依赖方式 42
3.4.1 窄依赖（Narrow Dependency） 42
3.4.2 Shuffle依赖（宽依赖Wide Dependency） 43
3.5 从RDD看集群调度 45
3.6 RDD持久化（Cachinng/Persistence） 46
3.7 共享变量 47
3.7.1 累加器（Accumulator） 48
3.7.2 广播变量（Broadcast Variables） 50
3.8 实例——Spark RDD操作 51
3.9 本章小结 56
第2篇 Spark Streaming详解
第4章 Spark Streaming编程模型及原理 58
4.1 DStream数据结构 58
4.2 DStream操作 59
4.2.1 DStream Transformation操作 59
4.2.2 DStream输出操作 63
4.3 Spark Streaming初始化及输入源 63
4.3.1 初始化流式上下文（StreamingContext） 63
4.3.2 输入源及接收器（Receivers） 64
4.4 持久化、Checkpointing和共享变量 65
4.4.1 DStream持久化（Caching/Persistence） 65
4.4.2 Checkpointing操作 66
4.5 实例——Spark Streaming流式词频统计 69
4.6 本章小结 73
第5章 Spark Streaming与Kafka 75
5.1 ZooKeeper简介 75
5.1.1 相关概念 75
5.1.2 ZooKeeper部署 77
5.2 Kafka简介 79
5.2.1 相关术语 80
5.2.2 Kafka运行机制 81
5.2.3 Kafka部署 83
5.2.4 简单样例 85
5.3 Spark Streaming接收Kafka数据 86
5.3.1 基于Receiver的方式 87
5.3.2 直接读取的方式 88
5.4 Spark Streaming向Kafka中写入数据 90
5.5 实例——Spark Streaming分析Kafka数据 92
5.6 本章小结 101
第6章 Spark Streaming与外部存储介质 102
6.1 将DStream输出到文件中 102
6.2 使用foreachRDD设计模式 105
6.3 将DStream输出到MySQL中 106
6.3.1 MySQL概述 107
6.3.2 MySQL通用连接类 107
6.3.3 MySQL输出操作 108
6.4 将DStream输出到HBase中 109
6.4.1 HBase概述 109
6.4.2 HBase通用连接类 110
6.4.3 HBase输出操作 111
6.4.4 “填坑”记录 112
6.5 将DStream数据输出到Redis中 112
6.5.1 Redis安装 112
6.5.2 Redis概述 113
6.5.3 Redis通用连接类 113
6.5.4 输出Redis操作 115
6.6 实例——日志分析 115
6.7 本章小结 122
第7章 Spark Streaming调优实践 124
7.1 数据序列化 124
7.2 广播大变量 126
7.3 数据处理和接收时的并行度 127
7.4 设置合理的批处理间隔 128
7.5 内存优化 128
7.5.1 内存管理 129
7.5.2 优化策略 130
7.5.3 垃圾回收（GC）优化 131
7.5.4 Spark Streaming内存优化 132
7.6 实例——项目实战中的调优示例 133
7.6.1 合理的批处理时间（batchDuration） 133
7.6.2 合理的Kafka拉取量（maxRatePerPartition参数设置） 134
7.6.3 缓存反复使用的Dstream（RDD） 135
7.6.4 其他一些优化策略 135
7.6.5 结果 136
7.7 本章小结 138
第3篇 Spark Streaming案例实战
第8章 实时词频统计处理系统实战 140
8.1 背景与设计 140
8.2 代码实现 142
8.2.1 数据生成器 142
8.2.2 分词服务 146
8.2.3 流式词频统计 147
8.3 环境配置与运行 158
8.3.1 相关服务启动 158
8.3.2 查看结果 160
8.4 本章小结 163
第9章 用户行为统计实战 164
9.1 背景与设计 164
9.1.1 不同状态的保存方式 164
9.1.2 State设计 166
9.1.3 Redis存储 167
9.2 代码实现 167
9.2.1 数据生成器 167
9.2.2 用户行为统计 168
9.3 环境配置与运行 172
9.3.1 相关服务启动 172
9.3.2 查看结果 173
9.4 本章小结 175
第10章 监控报警系统实战 177
10.1 背景与设计 177
10.2 代码实现 179
10.2.1 简易爬虫子项目 179
10.2.2 流式处理子项目 184
10.2.3 归纳统计子项目 191
10.2.4 数据表情况 199
10.3 环境配置与查看 200
10.3.1 启动各个模块 200
10.3.2 查看结果 200
10.4 本章小结 203
附录A Scala语言基础 204
A.1 安装及环境配置 204
A.1.1 安装Scala 204
A.1.2 开发环境配置 205
A.2 Scala语法独特性 206
A.2.1 换行符 207
A.2.2 统一类型 207
A.2.3 Scala变量 208
A.2.4 条件和循环语句 209
A.2.5 函数和方法 210
A.2.6 特质、单例和样例类 213
A.3 Scala集合 215
A.3.1 集合框架 216
A.3.2 核心特质（Trait） 219
A.3.3 常用的不可变集合类 222
A.3.4 常用的可变集合类 225
A.3.5 字符串 227
A.3.6 数组 228
A.3.7 迭代器（Iterators） 230
A.4 其他常用特性 231
A.4.1 模式匹配 231
A.4.2 异常处理 232
A.4.3 文件I/O 233



---------------------------Flink原理、实战与性能优化---------------------------


前言
第1章　Apache Flink介绍 1
1.1　Apache Flink是什么 1
1.2　数据架构的演变 2
1.2.1　传统数据基础架构 3
1.2.2　大数据数据架构 4
1.2.3　有状态流计算架构 5
1.2.4　为什么会是Flink 6
1.3　Flink应用场景 8
1.4　Flink基本架构 10
1.4.1　基本组件栈 10
1.4.2　基本架构图 11
1.5　本章小结 13
第2章　环境准备 14
2.1　运行环境介绍 14
2.2　Flink项目模板 15
2.2.1　基于Java实现的项目模板 15
2.2.2　基于Scala实现的项目模板 18
2.3　Flink开发环境配置 20
2.3.1　下载IntelliJ IDEA IDE 21
2.3.2　安装Scala Plugins 21
2.3.3　导入Flink应用代码 22
2.3.4　项目配置 22
2.4　运行Scala REPL 24
2.4.1　环境支持 24
2.4.2　运行程序 24
2.5　Flink源码编译 25
2.6　本章小结 26
第3章　Flink编程模型 27
3.1　数据集类型 27
3.2　Flink编程接口 29
3.3　Flink程序结构 30
3.4　Flink数据类型 37
3.4.1　数据类型支持 37
3.4.2　TypeInformation信息获取 40
3.5　本章小结 43
第4章　DataStream API 介绍与使用 44
4.1　DataStream编程模型 44
4.1.1　DataSources数据输入 45
4.1.2　DataSteam转换操作 49
4.1.3　DataSinks数据输出 59
4.2　时间概念与Watermark 61
4.2.1　时间概念类型 61
4.2.2　EventTime和Watermark 63
4.3　Windows窗口计算 69
4.3.1　Windows Assigner 70
4.3.2　Windows Function 77
4.3.3　Trigger窗口触发器 83
4.3.4　Evictors数据剔除器 87
4.3.5　延迟数据处理 88
4.3.6　连续窗口计算 89
4.3.7　Windows多流合并 90
4.4　作业链和资源组 95
4.4.1　作业链 95
4.4.2　Slots资源组 96
4.5　Asynchronous I/O异步操作 97
4.6　本章小结 98
第5章　Flink状态管理和容错 100
5.1　有状态计算 100
5.2　Checkpoints和Savepoints 109
5.2.1　Checkpoints检查点机制 109
5.2.2　Savepoints机制 111
5.3　状态管理器 114
5.3.1　StateBackend类别 114
5.3.2　状态管理器配置 116
5.4　Querable State 118
5.5　本章小结 123
第6章　DataSet API介绍与使用 124
6.1　DataSet API 124
6.1.1　应用实例 125
6.1.2　DataSources数据接入 126
6.1.3　DataSet转换操作 128
6.1.4　DataSinks数据输出 134
6.2　迭代计算 136
6.2.1　全量迭代 136
6.2.2　增量迭代 137
6.3　广播变量与分布式缓存 139
6.3.1　广播变量 139
6.3.2　分布式缓存 140
6.4　语义注解 141
6.4.1　Forwarded Fileds注解 141
6.4.2　Non-Forwarded Fileds注解 143
6.4.3　Read Fields注解 144
6.5　本章小结 145
第7章　Table API & SQL介绍与使用 146
7.1　TableEnviroment概念 146
7.1.1　开发环境构建 147
7.1.2　TableEnvironment基本操作 147
7.1.3　外部连接器 155
7.1.4　时间概念 162
7.1.5　Temporal Tables临时表 166
7.2　Flink Table API 167
7.2.1　Table API应用实例 167
7.2.2　数据查询和过滤 168
7.2.3　窗口操作 168
7.2.4　聚合操作 173
7.2.5　多表关联 175
7.2.6　集合操作 177
7.2.7　排序操作 178
7.2.8　数据写入 179
7.3　Flink SQL使用 179
7.3.1　Flink SQL实例 179
7.3.2　执行SQL 180
7.3.3　数据查询与过滤 181
7.3.4　Group Windows窗口操作 182
7.3.5　数据聚合 184
7.3.6　多表关联 186
7.3.7　集合操作 187
7.3.8　数据输出 189
7.4　自定义函数 189
7.4.1　Scalar Function 189
7.4.2　Table Function 191
7.4.3　Aggregation Function 192
7.5　自定义数据源 193
7.5.1　TableSource定义 193
7.5.2　TableSink定义 196
7.5.3　TableFactory定义 199
7.6　本章小结 201
第8章　Flink组件栈介绍与使用 202
8.1　Flink复杂事件处理 202
8.1.1　基础概念 203
8.1.2　Pattern API 204
8.1.3　事件获取 210
8.1.4　应用实例 212
8.2　Flink Gelly图计算应用 213
8.2.1　基本概念 213
8.2.2　Graph API 214
8.2.3　迭代图处理 220
8.2.4　图生成器 226
8.3　FlinkML机器学习应用 227
8.3.1　基本概念 227
8.3.2　有监督学习算子 229
8.3.3　数据预处理 231
8.3.4　推荐算法 234
8.3.5　Pipelines In FlinkML 235
8.4　本章小结 236
第9章　Flink部署与应用 237
9.1　Flink集群部署 237
9.1.1　Standalone Cluster部署 238
9.1.2　Yarn Cluster部署 240
9.1.3　Kubernetes Cluster部署 244
9.2　Flink高可用配置 247
9.2.1　Standalone集群高可用配置 248
9.2.2　Yarn Session集群高可用配置 250
9.3　Flink安全管理 251
9.3.1　认证目标 251
9.3.2　认证配置 252
9.3.3　SSL配置 253
9.4　Flink集群升级 255
9.4.1　任务重启 256
9.4.2　状态维护 256
9.4.3　版本升级 257
9.5　本章小结 258
第10章　Flink监控与性能优化 259
10.1　监控指标 259
10.1.1　系统监控指标 259
10.1.2　监控指标注册 261
10.1.3　监控指标报表 264
10.2　Backpressure监控与优化 266
10.2.1　Backpressure进程抽样 266
10.2.2　Backpressure页面监控 267
10.2.3　Backpressure配置 268
10.3　Checkpointing监控与优化 268
10.3.1　Checkpointing页面监控 268
10.3.2　Checkpointing优化 271
10.4　Flink内存优化 273
10.4.1　Flink内存配置 274
10.4.2　Network Buffers配置 275
10.5　本章小结 277

.　　本篇重点围绕Spark平台进行讲解，并具体就如何搭建一个自己的Spark集群进行了详细介绍，为后面的实战演练打下基础。
　　第1章初识Spark，从Spark的历史发展出发，重点介绍了流式处理任务，对比了不同流式处理框架，并介绍了Spark Streaming的特点。
　　第2章Spark运行与开发环境，主要介绍了如何搭建Spark集群，以及如何从零到一开始开发Spark应用程序，最后对从文件中进行词频统计的Spark应用做了介绍。
　　第3章Spark编程模型，对Spark的核心编程模型做了详细讲解，这对于开发Spark应用及Spark Streaming应用优化来说都是必要的。另外，本章还对RDD的各种操作做了讲解。
　　第2篇 Spark Streaming详解（第4~7章）
　　本篇重点阐述了Spark Streaming的编程模型和特点，并将一些常用的大数据平台与Spark Streaming相结合进行讲解，最后对Spark Streaming应用中常见的调优实践进行了总结。
　　第4章Spark Streaming编程模型及原理，着重介绍了Spark Streaming的运行原理，并且讲解了Spark Streaming应用开发的必要知识，最后以Spark Streaming接收网络输入流并进行词频统计进行实例演练。
　　第5章Spark Streaming与Kafka，重点介绍了Spark Streaming与Kafka配合使用的相关知识点，并介绍了在部署时常见的ZooKeeper平台，最后利用Kafka作为Spark Streaming的输入源进行分析操作。
　　第6章Spark Streaming与外部存储介质，主要介绍了流式处理任务中如何将处理结果输出到外部存储介质等相关知识。本章就一些常用的数据库与Spark Streaming结合进行讲解，最后结合日志分析实例，将日志文件分析后输出到MySQL中，可以让读者了解整个流程。
　　第7章Spark Streaming调优实践，介绍了在实际生产中如何根据具体的数据量和任务情况对Spark Streaming进行优化修改，并且以一个具体的项目调优实例讲解调优的分析过程。
　　第3篇 Spark Streaming案例实战（第8~10章）
　　经过前两篇的学习，读者应该已经掌握了Spark和Spark Streaming的基本原理及开发技术。本篇在此基础上进行实战演练，带领读者完成3个大数据项目实战案例。
　　第8章实时词频统计处理系统实战，针对文本数据常见的流式处理任务，通过一个实战案例，对词频统计从设计、实现到部署的相关知识进行了详细讲解。
　　第9章用户行为统计实战，通过一个实战案例，介绍了在广告行为分析和推荐系统中如何对用户行为进行统计分析。
　　第10章监控报警系统实战，对监控报警系统提出了一种架构上的设计思路，即以Kafka为数据总线串联，利用爬虫技术爬取数据，再用Spark Streaming进行过滤处理和后续的归纳汇总报警。
　　附录A Scala语言基础，对本书在讲解时所采用的Spark源生语言Scala的基础知识做了简单讲解，用于帮助对Scala还不是很熟悉的读者。
　　本书读者对象
　　阅读本书需要读者有一定的编程经验，建议读者最好对Java和C++等面向对象编程语言有一定的了解。具体而言，本书主要适合以下读者阅读：
　　* 有一定编程基础的Spark初学者；
　　* 了解Spark，想进一步使用Spark Streaming的从业人员；
　　* 流式大数据处理程序员；
　　* 对Spark和Spark Streaming感兴趣的程序员；
　　* 高校相关专业的学生；
　　* 大数据技术培训机构的学员。
　　本书阅读建议
　　* 基础相对薄弱的读者，可以先从附录开始了解Scala语言的特性，然后从第1章顺次阅读本书。
　　* Java基础良好的读者可以直接顺次阅读本书，阅读中涉及的Scala语言特性可在附录中查阅。
　　* 对Spark有所了解的读者可以直接从本书第2篇开始阅读，即从本书第4章开始阅读。
　　* 对Spark及Spark Streaming比较熟悉的读者，可以直接动手演练本书第3篇中的3个实战案例。
　　* 学习时一定要亲自动手编写代码进行实践，再结合实际场景才能更好地掌握相关技术。
　　本书配套资源
　　本书涉及的所有源代码都已经开源并提供在了GitHub上，读者可以根据自己的需要进行下载，下载地址为https://github.com/xlturing/spark-streaming-action。另外，读者也可以登录华章公司的网站www.hzbook.com，在该网站上搜索到本书，然后单击“资料下载”按钮，再单击页面上的“配书资源”链接进行下载。
　　读者反馈
　　由于笔者水平所限，书中可能还存在一些疏漏，敬请读者指正，笔者会及时进行调整和修改。联系我们可通过电子邮箱litaoxiao@gmail.com或hzbook2017@163.com。笔者会将一些反馈信息整理在博客中（http://www.cnblogs.com/xlturing）。另外也欢迎读者关注笔者的微信公众号pang tao1027/互联网技术猿，笔者会定期分享一些技术文章。
　　致谢
　　感谢洪福兴在第9章内容上给予笔者的宝贵意见！
　　感谢在腾讯工作期间，辛愿、李铮、刘绩刚和方亮等人给予笔者的指导与帮助！
　　感谢本书编辑在本书出版过程中给予笔者的大力支持与帮助！
　　最后感谢我的家人在写书上给予我的理解与支持，在遇到挫折和困难时，我的家人都坚定地支持着我。爱你们！
　　肖力涛
　　
　　
　　---------------------------Flink原理、实战与性能优化---------------------------
　　
　　
　　为什么要写这本书
　　记得在几年前刚开始做流式计算相关的项目时，发觉项目对实时性和数据量的要求很高，无奈求助于Flink开源社区（后文简称“社区”），在社区中发现可以使用的流式框架有很多，例如比较主流的框架Apache Storm、Spark Streaming等，Apache Flink（简称“Flink”）也在其中。于是笔者开始对各种流式框架进行详细研究，最后发现能同时支持低延迟、高吞吐、Excactly-once的框架只有Apache Flink，从那时起笔者就对Flink这套框架充满兴趣，不管是其架构还是接口，都可以发现其中包含了非常优秀的设计思想。虽然当时Flink在社区的成熟度并不是很高，但笔者还是决定将Flink应用在自己的项目中，自此开启了Flink分布式计算技术应用之旅。
　　刚开始学习Flink，对于没有分布式处理技术和流式计算经验的人来说会相对比较困难，因为其很难理解有状态计算、数据一致性保障等概念。尤其在相关中文资源比较匮乏的情况下，需要用户在官网以及国外的技术网站中翻阅大量的外文资料，这在一定程度上对学习和应用Flink造成了阻碍。笔者在2018年参加了一场由Flink中文社区组织的线下交流活动，当时听了很多领域内专家将Flink应用在不同业务场景中的分享，发现Flink这项技术虽然优秀，但是国内尚未有一本能够全面介绍Flink的中文书籍，于是笔者决定结合自己的实际项目经验来完成一本Flink中文书籍，以帮助他人学习和使用Flink这项优秀的分布式处理技术。
　　阿里巴巴在2018年1月开源了其内部Flink的分支项目Blink，并推动社区将Blink中优秀的特性合并到Flink主干版本中，一时间Flink在国内的发展被推向了高潮，成为很多公司想去尝试使用的新技术。因此笔者相信未来会有更多的开发者参与到Flink社区中来，Flink也将在未来的大数据生态中占据举足轻重的位置。
　　读者对象
　　本书从多个方面对Flink进行了深入介绍，包括原理、多种抽象接口的使用，以及Flink的性能监控与调优等方面，因此本书比较适合以下类型的读者。
　　流计算开发工程师
　　大数据架构工程师
　　大数据开发工程师
　　数据挖掘工程师
　　高校研究生以及高年级本科生
　　如何阅读本书
　　本书共分为10章，各章节间具有一定的先后关系，对于刚入门的读者，建议从第1章开始循序渐进地学习。
　　对于有一定经验的读者可以自行选择章节开始学习。如果想使用Flink开发流式应用，则可以直接阅读第4章、第5章，以及第7章之后的内容；如果想使用Flink开发批计算应用，则可以选择阅读第5章以及第7章之后的内容。
　　勘误和支持
　　除封面署名外，参加本书编写工作的还有：张再胜、尚越、程龙、姚远等。由于笔者水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。由于Flink技术的参考资料相对较少，因此书中有些地方参考了Flink官方文档，读者也可以结合Flink官网来学习。书中的全部源文件可以从GitHub网站下载，地址为https://github.com/zhanglibing1990/learning-flink。同时笔者也会将相应的功能及时更新。如果你有更多宝贵的意见可以通过QQ群686656574或电子邮箱zhanglibing1990@126.com联系笔者，期待能够得到你们的真挚反馈。
　　致谢
　　在本书的写作过程中，得到了很多朋友及同事的帮助和支持，在此表示衷心感谢！
　　感谢我的女朋友，因为有你的支持，我才能坚持将本书顺利完成，谢谢你一直陪伴在我的身边，不断鼓励我前行。
　　感谢机械工业出版社华章公司的编辑杨福川和张锡鹏，在这半年多的时间中始终支持我的写作，你们的鼓励和帮助引导我顺利完成全部书稿。
　　谨以此书献给我最亲爱的家人，以及众多热爱Flink的朋友！
　　总结
　　本书最开始介绍Flink的发展历史，然后对Flink批数据和流数据的不同处理接口进行介绍，再对Flink的部署与实施、性能优化等方面进行全面讲解。经过系统完整地了解和学习Flink分布式处理技术之后，可以发现Flink有很多非常先进的概念，以及非常完善的接口设计，这些都能让用户更加有效地处理大数据，特别是流式数据处理。随着大数据技术的不断发展，Flink也在大数据的浪潮中奋勇前行。越来越多的用户也参与到Flink社区的开发中，尤其是近年来随着阿里巴巴的推进，Blink的开源在一定程度上推动了Flink在国内大规模的落地。相信在不久的将来，Flink会逐渐成为国内乃至全球不可或缺的分布式处理引擎，笔者也相信Flink在流式数据处理领域会有新的突破，能够改变目前大部分基于批处理的模式，让分布式数据处理变得更加高效，使得数据处理成本不断降低。
　　张利兵
　　2019年
　　

.　　---------------------------Flink原理、实战与性能优化---------------------------
　　
　　
　　流式处理系统是大数据分析与机器学习系统的重要支撑组件，在智能应用中越来越重要。作者有多年研发经验，对流式处理有非常深厚的理解。本书从Flink的使用、原理和优化等方面深入浅出地展开讲解，既能帮助新手快速掌握Flink，又能给有一定Flink开发经验的读者进阶指导。
　　——胡时伟 第四范式首席架构师
　　实时计算在国内还没有大规模的落地，已有的架构设计基本上都是采用的批处理模式。随着流式处理技术的发展，会有越来越多的流式计算案例不断落地，而Flink无疑是流式计算技术中最为耀眼的。本书从多个方面对Flink进行了深入讲解，是一本难得的Flink入门级教程，能够很好地帮助读者认识并掌握Flink这项技术。
　　——杨威 明略科技集团技术VP
　　流式计算是未来大数据发展的必然趋势，统一批处理和流处理的框架广受欢迎。就目前来看，Flink是一个优秀的统一批处理和流处理框架，国内相关的中文书籍和资料比较少。本书从批量计算、流式计算等方面对Flink进行了非常系统的介绍，是一本非常不错的中文参考书。
　　——罗志鹏 国盛金控/极盛科技大数据总监