[套装书]大数据原理与实践：复杂信息的准备、共享和分析（原书第2版）+大数据技术体系详解：原理、架构与实践（2册）

不可用的原始形式 13
2.2　词汇索引 14
2.3　术语提取 16
2.4　构建索引 19
2.5　自动编码 20
2.6　案例研究：宇宙中任意原子精确位置的快速定位（需要安装一些软件） 24
2.7　案例研究（高级）：一个完整的自动编码器（12行Python代码） 26
2.8　案例研究：以词汇索引进行文本转换 28
2.9　案例研究（高级）：Burrows Wheeler变换 30
术语表 32
参考文献 43
第3章　标识、去标识和重标识 45
3.1　什么是标识符 45
3.2　标识符和标识系统之间的区别 46
3.3　生成唯一标识符 48
3.4　糟糕的标识方法 50
3.5　注册唯一对象标识符 53
3.6　去标识和重标识 55
3.7　案例研究：数据清理 57
3.8　案例研究（高级）：图像标题中的标识符 59
3.9　案例研究：单向散列函数 61
术语表 63
参考文献 69
第4章　元数据、语义和三元组 71
4.1　元数据 71
4.2　可扩展标记语言 71
4.3　语义和三元组 72
4.4　命名空间 74
4.5　案例研究：三元组的语法 75
4.6　案例研究：Dublin Core 77
术语表 78
参考文献 80
第5章　分类和本体论 81
5.1　关于对象关系的全部 81
5.2　分类：最简单的本体 84
5.3　本体：有多个父类的类 86
5.4　分类模型选择 88
5.5　类混合 91
5.6　本体开发的常见陷阱 92
5.7　案例研究：上层本体 93
5.8　案例研究（高级）：悖论 94
5.9　案例研究（高级）：RDF框架和类属性 96
5.10　案例研究（高级）：可视化类关系 98
术语表 102
参考文献 111
第6章　内省 113
6.1　自我认知 113
6.2　数据对象：每个大数据集合中最基本的元素 116
6.3　大数据如何使用内省 117
6.4　案例研究：时间戳数据 119
6.5　案例研究：TripleStore 简介 121
6.6　案例研究（高级）：大数据必须是面向对象的证明 125
术语表 126
参考文献 127
第7章　标准和数据集成 128
7.1　标准 128
7.2　规范与标准 132
7.3　版本控制 134
7.4　合规问题 135
7.5　案例研究：标准化巧克力茶壶 135
术语表 136
参考文献 137
第8章　不变性和永久性 139
8.1　数据不变性的重要性 139
8.2　不变性和标识符 140
8.3　数据产生数据 142
8.4　跨机构协调标识符 143
8.5　案例研究：可信时间戳 144
8.6　案例研究：区块链和分布式账本 145
8.7　案例研究（高级）：零知识协调 147
术语表 148
参考文献 150
第9章　评估大数据资源的充分性 152
9.1　观察数据 152
9.2　大数据的最小必要属性 158
9.3　附加条件的数据 161
9.4　案例研究：用于查看和搜索大型文件的实用程序 162
9.5　案例研究：数据扁平化 164
术语表 164
参考文献 169
第10章　测量 170
10.1　准确性与精度 170
10.2　数据范围 171
10.3　计数 173
10.4　数据标准化和变换 176
10.5　约简数据 179
10.6　理解控制 181
10.7　没有实际意义的统计意义 182
10.8　案例研究：基因计数 183
10.9　案例研究：早期生物特征和狭窄数据范围的意义 184
术语表 185
参考文献 186
第11章　快速简单的大数据分析必不可少的技巧 188
11.1　速度和可扩展性 188
11.2　适用于大数据的快速操作，并且每台计算机都支持 193
11.3　点积—一种简单快速的相关方法 197
11.4　聚类 199
11.5　数据持久性方法（不使用数据库） 201
11.6　案例研究：爬升分类 202
11.7　案例研究（高级）：数据库示例 203
11.8　案例研究（高级）：NoSQL 205
术语表 205
参考文献 209
第12章　寻找大型数据集中的线索 211
12.1　分母 211
12.2　词频分布 212
12.3　异常值和异常 215
12.4　封底分析 216
12.5　案例研究：预测用户偏好 218
12.6　案例研究：人口数据的多模态 219
12.7　案例研究：大小黑洞 220
术语表 220
参考文献 224
第13章　使用随机数将大数据分析问题的规模缩小 225
13.1　（伪）随机数的显著效用 225
13.2　重采样 230
13.3　蒙特卡罗模拟法 234
13.4　案例研究：中心极限定理的证明 236
13.5　案例研究：发生一连串小概率事件的频率 237
13.6　案例研究：臭名昭著的生日问题 238
13.7　案例研究（高级）：蒙提霍尔问题 239
13.8　案例研究（高级）：贝叶斯分析 241
术语表 242
参考文献 244
第14章　大数据分析中的特殊注意事项 246
14.1　数据搜索理论 246
14.2　理论搜索中的数据 247
14.3　巨大的偏差 248
14.4　大数据的数据子集：不可加和不传递 251
14.5　其他大数据陷阱 252
14.6　案例研究（高级）：维数灾难 254
术语表 257
参考文献 258
第15章　大数据的失败以及如何避免 260
15.1　失败很常见 260
15.2　失败的标准 261
15.3　复杂性 264
15.4　逐步走进大数据分析 265
15.5　失败之后 272
15.6　案例研究：癌症生物医学信息学网格—遥远的桥 273
15.7　案例研究：高斯Copula函数 277
术语表 278
参考文献 280
第16章　数据再分析：比分析更重要 283
16.1　第一次分析（几乎）总是错的 283
16.2　为什么再分析比分析更重要 285
16.3　案例研究：旧JADE对撞机数据的再分析 287
16.4　案例研究：通过再分析证明 287
16.5　案例研究：从旧数据中寻找新行星 288
术语表 289
参考文献 290
第17章　大数据再利用 294
17.1　什么是数据再利用 294
17.2　暗数据、废弃数据和遗留数据 296
17.3　案例研究：从邮政编码到人口统计学基础 297
17.4　案例研究：基因序列数据库的科学推断 298
17.5　案例研究：将全球变暖与高强度飓风联系起来 298
17.6　案例研究：用地质数据推断气候趋势 299
17.7　案例研究：环月影像恢复工程 299
术语表 301
参考文献 301
第18章　数据共享和数据安全 303
18.1　什么是数据共享，为什么我们不共享更多数据 303
18.2　常见的不满 303
18.3　数据安全和加密协议 308
18.4　案例研究：火星上的生命 313
18.5　案例研究：个人标识符 314
术语表 315
参考文献 317
第19章　合法性 320
19.1　对数据的准确性和合法性负责 320
19.2　创建、使用和共享资源的权利 322
19.3　因使用标准而招致的版权和专利侵权行为 324
19.4　对个人的保护 325
19.5　许可问题 326
19.6　未经许可的数据 330
19.7　隐私策略 332
19.8　案例研究：大数据的时效性 333
19.9　案例：哈瓦苏派的故事 334
术语表 335
参考文献 336
第20章　社会问题 338
20.1　公众的大数据感知 338
20.2　用大数据降低成本和提高生产效率 340
20.3　公众的疑虑 342
20.4　从自己做起 343
20.5　谁是大数据 344
20.6　傲慢和夸张 349
20.7　案例研究：公民科学家 351
20.8　案例研究：乔治·奥威尔的《1984》 354
术语表 354
参考文献 355



---------------------------大数据技术体系详解：原理、架构与实践---------------------------


前　言
第一部分　概述篇
第1章　企业级大数据技术体系概述 2
1.1　大数据系统产生背景及应用场景 2
1.1.1　产生背景 2
1.1.2　常见大数据应用场景 3
1.2　企业级大数据技术框架 5
1.2.1　数据收集层 6
1.2.2　数据存储层 7
1.2.3　资源管理与服务协调层 7
1.2.4　计算引擎层 8
1.2.5　数据分析层 9
1.2.6　数据可视化层 9
1.3　企业级大数据技术实现方案 9
1.3.1　Google大数据技术栈 10
1.3.2　Hadoop与Spark开源大数据技术栈 12
1.4　大数据架构：Lambda Architecture 15
1.5　Hadoop与Spark版本选择及安装部署 16
1.5.1　Hadoop与Spark版本选择 16
1.5.2　Hadoop与Spark安装部署 17
1.6　小结 18
1.7　本章问题 18
第二部分　数据收集篇
第2章　关系型数据的收集 20
2.1　Sqoop概述 20
2.1.1　设计动机 20
2.1.2　Sqoop基本思想及特点 21
2.2　Sqoop基本架构 21
2.2.1　Sqoop1基本架构 22
2.2.2　Sqoop2基本架构 23
2.2.3　Sqoop1与Sqoop2对比 24
2.3　Sqoop使用方式 25
2.3.1　Sqoop1使用方式 25
2.3.2　Sqoop2使用方式 28
2.4　数据增量收集CDC 31
2.4.1　CDC动机与应用场景 31
2.4.2　CDC开源实现Canal 32
2.4.3　多机房数据同步系统Otter 33
2.5　小结 35
2.6　本章问题 35
第3章　非关系型数据的收集 36
3.1　概述 36
3.1.1　Flume设计动机 36
3.1.2　Flume基本思想及特点 37
3.2　Flume NG基本架构 38
3.2.1　Flume NG基本架构 38
3.2.2　Flume NG高级组件 41
3.3　Flume NG数据流拓扑构建方法 42
3.3.1　如何构建数据流拓扑 42
3.3.2　数据流拓扑实例剖析 46
3.4　小结 50
3.5　本章问题 50
第4章　分布式消息队列Kafka 51
4.1　概述 51
4.1.1　Kafka设计动机 51
4.1.2　Kafka特点 53
4.2　Kafka设计架构 53
4.2.1　Kafka基本架构 54
4.2.2　Kafka各组件详解 54
4.2.3　Kafka关键技术点 58
4.3　Kafka程序设计 60
4.3.1　Producer程序设计 61
4.3.2　Consumer程序设计 63
4.3.3　开源Producer与Consumer实现 65
4.4　Kafka典型应用场景 65
4.5　小结 67
4.6　本章问题 67
第三部分　数据存储篇
第5章　数据序列化与文件存储格式 70
5.1　数据序列化的意义 70
5.2　数据序列化方案 72
5.2.1　序列化框架Thrift 72
5.2.2　序列化框架Protobuf 74
5.2.3　序列化框架Avro 76
5.2.4　序列化框架对比 78
5.3　文件存储格式剖析 79
5.3.1　行存储与列存储 79
5.3.2　行式存储格式 80
5.3.3　列式存储格式ORC、Parquet与CarbonData 82
5.4　小结 88
5.5　本章问题 89
第6章　分布式文件系统 90
6.1　背景 90
6.2　文件级别和块级别的分布式文件系统 91
6.2.1　文件级别的分布式系统 91
6.2.2　块级别的分布式系统 92
6.3　HDFS基本架构 93
6.4　HDFS关键技术 94
6.4.1　容错性设计 95
6.4.2　副本放置策略 95
6.4.3　异构存储介质 96
6.4.4　集中式缓存管理 97
6.5　HDFS访问方式 98
6.5.1　HDFS shell 98
6.5.2　HDFS API 100
6.5.3　数据收集组件 101
6.5.4　计算引擎 102
6.6　小结 102
6.7　本章问题 103
第7章　分布式结构化存储系统 104
7.1　背景 104
7.2　HBase数据模型 105
7.2.1　逻辑数据模型 105
7.2.2　物理数据存储 107
7.3　HBase基本架构 108
7.3.1　HBase基本架构 108
7.3.2　HBase内部原理 110
7.4　HBase访问方式 114
7.4.1　HBase shell 114
7.4.2　HBase API 116
7.4.3　数据收集组件 118
7.4.4　计算引擎 119
7.4.5　Apache Phoenix 119
7.5　HBase应用案例 120
7.5.1　社交关系数据存储 120
7.5.2　时间序列数据库OpenTSDB 122
7.6　分布式列式存储系统Kudu 125
7.6.1　Kudu基本特点 125
7.6.2　Kudu数据模型与架构 126
7.6.3　HBase与Kudu对比 126
7.7　小结 127
7.8　本章问题 127
第四部分　分布式协调与资源管理篇
第8章　分布式协调服务ZooKeeper 130
8.1　分布式协调服务的存在意义 130
8.1.1　leader选举 130
8.1.2　负载均衡 131
8.2　ZooKeeper数据模型 132
8.3　ZooKeeper基本架构 133
8.4　ZooKeeper程序设计 134
8.4.1　ZooKeeper API 135
8.4.2　Apache Curator 139
8.5　ZooKeeper应用案例 142
8.5.1　leader选举 142
8.5.2　分布式队列 143
8.5.3　负载均衡 143
8.6　小结 144
8.7　本章问题 145
第9章　资源管理与调度系统YARN 146
9.1　YARN产生背景 146
9.1.1　MRv1局限性 146
9.1.2　YARN设计动机 147
9.2　YARN设计思想 148
9.3　YARN的基本架构与原理 149
9.3.1　YARN基本架构 149
9.3.2　YARN高可用 152
9.3.3　YARN工作流程 153
9.4　YARN资源调度器 155
9.4.1　层级队列管理机制 155
9.4.2　多租户资源调度器产生背景 156
9.4.3　Capacity/Fair Scheduler 157
9.4.4　基于节点标签的调度 160
9.4.5　资源抢占模型 163
9.5　YARN资源隔离 164
9.6　以YARN为核心的生态系统 165
9.7　资源管理系统Mesos 167
9.7.1　Mesos基本架构 167
9.7.2　Mesos资源分配策略 169
9.7.3　Mesos与YARN对比 170
9.8　资源管理系统架构演化 170
9.8.1　集中式架构 171
9.8.2　双层调度架构 171
9.8.3　共享状态架构 172
9.9　小结 173
9.10　本章问题 173
第五部分　大数据计算引擎篇
第10章　批处理引擎MapReduce 176
10.1　概述 176
10.1.1　MapReduce产生背景 176
10.1.2　MapReduce设计目标 177
10.2　MapReduce编程模型 178
10.2.1　编程思想 178
10.2.2　MapReduce编程组件 179
10.3　MapReduce程序设计 187
10.3.1　MapReduce程序设计基础 187
10.3.2　MapReduce程序设计进阶 194
10.3.3　Hadoop Streaming 198
10.4　MapReduce内部原理 204
10.4.1　MapReduce作业生命周期 204
10.4.2　MapTask与ReduceTask 206
10.4.3　MapReduce关键技术 209
10.5　MapReduce应用实例 211
10.6　小结 213
10.7　本章问题 213
第11章　DAG计算引擎Spark 215
11.1　概述 215
11.1.1　Spark产生背景 215
11.1.2　Spark主要特点 217
11.2　Spark编程模型 218
11.2.1　Spark核心概念 218
11.2.2　Spark程序基本框架 220
11.2.3　Spark编程接口 221
11.3　Spark运行模式 227
11.3.1　Standalone模式 229
11.3.2　YARN模式 230
11.3.3　Spark Shell 232
11.4　Spark程序设计实例 232
11.4.1　构建倒排索引 232
11.4.2　SQL GroupBy实现 234
11.4.3　应用程序提交 235
11.5　Spark内部原理 236
11.5.1　Spark作业生命周期 237
11.5.2　Spark Shuffle 241
11.6　DataFrame、Dataset与SQL 247
11.6.1　DataFrame/Dataset与SQL的关系 248
11.6.2　DataFrame/Dataset程序设计 249
11.6.3　DataFrame/Dataset程序实例 254
11.7　Spark生态系统 257
11.8　小结 257
11.9　本章问题 258
第12章　交互式计算引擎 261
12.1　概述 261
12.1.1　产生背景 261
12.1.2　交互式查询引擎分类 262
12.1.3　常见的开源实现 263
12.2　ROLAP 263
12.2.1　Impala 263
12.2.2　Presto 267
12.2.3　Impala与Presto对比 271
12.3　MOLAP 271
12.3.1　Druid简介 271
12.3.2　Kylin简介 272
12.3.3　Druid与Kylin对比 274
12.4　小结 274
12.5　本章问题 274
第13章　流式实时计算引擎 276
13.1　概述 276
13.1.1　产生背景 276
13.1.2　常见的开源实现 278
13.2　Storm基础与实战 278
13.2.1　Storm概念与架构 279
13.2.2　Storm程序设计实例 282
13.2.3　Storm内部原理 285
13.3　Spark Streaming基础与实战 290
13.3.1　概念与架构 290
13.3.2　程序设计基础 291
13.3.3　编程实例详解 298
13.3.4　容错性讨论 300
13.4　流式计算引擎对比 303
13.5　小结 304
13.6　本章问题 304
第六部分　数据分析篇
第14章　数据分析语言HQL与SQL 308
14.1　概述 308
14.1.1　背景 308
14.1.2　SQL On Hadoop 309
14.2　Hive架构 309
14.2.1　Hive基本架构 310
14.2.2　Hive查询引擎 311
14.3　Spark SQL架构 312
14.3.1　Spark SQL基本架构 312
14.3.2　Spark SQL与Hive对比 313
14.4　HQL 314
14.4.1　HQL基本语法 314
14.4.2　HQL应用实例 320
14.5　小结 322
14.6　本章问题 322
第15章　大数据统一编程模型 325
15.1　产生背景 325
15.2　Apache Beam基本构成 327
15.2.1　Beam SDK 327
15.2.2　Beam Runner 328
15.3　Apache Beam编程模型 329
15.3.1　构建Pipeline 330
15.3.2　创建PCollection 331
15.3.3　使用Transform 334
15.3.4　side input与side output 340
15.4　Apache Beam流式计算模型 341
15.4.1　window简述 342
15.4.2　watermark、trigger与accumulation 344
15.5　Apache Beam编程实例 346
15.5.1　WordCount 346
15.5.2　移动游戏用户行为分析 348
15.6　小结 350
15.7　本章问题 350
第16章　大数据机器学习库 351
16.1　机器学习库简介 351
16.2　MLLib 机器学习库 354
16.2.1　Pipeline 355
16.2.2　特征工程 357
16.2.3　机器学习算法 360
16.3　小结 361
16.4　本章问题 361

.　　最新版本的Python并不向后兼容其早期版本。因此，本书中所包含的脚本和代码块适用于大多数Python 3.x版本，但可能不适用于Python 2.x版本及更早版本，除非读者准备花费一些时间来进行代码调整。当然，这些简短的脚本和代码块旨在作为概念的简单演示，不能用于构建应用程序的代码。
　　内置的Python方法有时优化了速度以利用随机存取存储器（RAM）来保存数据结构，包括通过循环构建的数据结构。对大数据进行迭代可能会耗尽可用的内存，从而导致那些在小数据集上运行良好的Python脚本失败。
　　Python面向对象的实现允许多类继承（即，类可以是多个父类的子类）。我们将解释为什么在使用Python对大型复杂数据进行编程操作时使用多类继承会引起麻烦，并且给出所对应的补救措施。
　　本书中描述的每个算法的核心概念都可以在现代计算机上通过任何操作系统、利用主流的编程语言通过几行代码加以实现。本书会提供许多Python代码，并讲解主流的操作系统上被广泛使用的开源应用。本书强调，对于大型复杂数据集上的数据分析，大部分都可以通过简单的方法加以实现，而不需要专门的软件系统（例如，并行化的计算过程）或硬件（例如，超级计算机）。同时，完全不熟悉Python的读者可能会惊奇地发现，当代码很简短并且附有注释的时候，他们能够轻易地读懂Python代码。当然，对于那些主要关注如何掌握大数据原理的读者，可以跳过代码段，不用担心会错过书中的任何理论概念。
　　第2版同时包含了那些被大数据分析领域的其他书籍所忽视的方法论，包括：
　　数据准备。如何使用元数据注释数据以及如何创建由三元组组成的数据对象。作为计算科学意义的基本延伸，三元组的概念将被全面地讲解。
　　与大数据相关的数据结构。涵盖诸如TripleStore、分布式账本、唯一标识符、时间戳、一致性、索引、字典对象、数据持久性、用于数据存储和分布的单向散列的作用以及加密协议等概念。
　　数据对象的分类。详细讨论如何根据数据对象的共享关系将数据对象分类，以及在大数据分析中分类所起到的计算作用。
　　内省。如何创建自描述的数据对象，允许数据分析人员对属于同一个类的对象进行分组，并将方法应用于从其祖先类继承的类对象。
　　在大数据准备和分析中具有特殊效用的算法。如何使用单向散列、唯一标识符生成器、加密技术、计时方法和时间戳协议来创建不可变（永不改变）的、永久的、私有的唯一数据对象，并且创建便于描述具有许多有用功能的数据结构（例如，区块链和分布式账本，用于安全地共享机密信息的协议，以及在不侵犯隐私的情况下用于协调跨数据集合的标识符的方法）。
　　大数据分析技巧。如何使用一系列简单的技术（例如，近似、所谓的包络技巧、使用随机数发生器的重复采样、蒙特卡罗模拟以及数据简化方法）来克服大数据规模和维度所施加的诸多分析限制。
　　数据再分析、数据重新利用和数据共享。为什么对于大数据的第一次分析几乎总是不正确的、有误导的或不完整的？为什么数据再分析已成为每个严肃的大数据分析师必须掌握的关键技能？数据再分析的过程通常会激发大数据资源的重新利用。除非克服数据共享的障碍，否则不能实现数据再分析和数据重新利用。该主题将会被详细讨论。
　　尽管本书第2版希望并且尽最大可能地达到对大数据领域的全面覆盖，但没有办法实现涵盖大数据这一多学科交叉领域的每个概念和方法。为了弥补这些不足，每章都提供扩充的术语表，它定义了文中引入的术语，并对大数据科学家常用的术语提供了进一步的解释。另外，对于所讨论的技术与方法，亦为读者提供了或许有用的参考文献列表，以供进一步阅读。总的来说，第2版包含了大约600个参考文献，其中大多数能够免费下载，以及300多个术语词条，其中许多词条包含了读者可能会觉得有用的简短的Python片段。
　　最后，第2版通过案例来向读者展示大数据原理如何付诸实践。虽然案例研究来自多个科学领域，涉及物理学、经济学和天文学，但读者会注意到从生物科学（特别是医学和动物学）中汲取了大量例子。其原因在于，对于陆生生物的分类是现存最古老、最佳的大数据分类。数据组织和数据分析过程中出现的所有经典错误都是在生物学领域中发生的。更重要的是，这些错误已被详细记录下来，并且大多数已得到纠正并公布以供公众参考。如果想了解大数据如何用作帮助科学进步的工具，那么你必须学习这些从生物学世界中获取的案例，该领域很好地记录了过去发生、正在发生以及将要发生的一切。我们已尽最大努力采用同类案例中最简单的，并提供尽可能多的背景解释。
　　本书第2版致力于让读者认识到大数据分析的主要目的是让我们能够提出并回答一系列无法通过小型数据集得到可靠解决方案的问题。我们完全有理由期待本书的读者能够很快取得前几代科学家无法企及的科学突破。祝大家好运！
　　第1版前言
　　我们不能用导致问题的方法去解决问题。
　　—Albert Einstein
　　数以百万计的电脑每时每刻都有数据注入。在全球范围内，所有计算机上存储的数据总量约为300EB（约3000亿GB），并正以每年28%的速度增加。尽管如此，与未被存储的数据量相比，存储下来的数据量仍是微不足道的。据统计，每年约有1.9ZB的数据传输量（约19 000亿GB）[1]。日益纷繁复杂的数字化信息将引发新一代数据资源的涌现。
　　现在，我们有能力从各类资源中得到众多不同类型的数据对象，也能够获取来自未来或遥远过去的数据，这要求我们找到能够准确描述每个数据片段的方法，这样就不至于将数据项混淆，进而能够在需要的时候搜索和追踪对应的数据项。精明的信息学专家明白一个道理：如果要在我们的星球上精确地描述每一件事，必然需要一个“辅助星球”来掌控所有信息，同时后者也必然要比我们的物理星球大很多。
　　急于获取和分析数据时，往往容易忽视数据的准备工作。如果大数据资源中的数据没有得到有效的组织、综合和准确的描述，那么这些数据资源将毫无价值。本书的首要目标是解释大数据资源建立的原理。大数据资源中的所有数据必须具备某种形式以支持搜索、检索和分析，分析方法必须可再现，分析结果必须可验证。
　　大数据潜在的最大益处也许是它能够连接一些看似无关的学科，从而开发和测试那些无法通过单个学科领域知识完成的假设性想法。我们将评估那些能引导分析人员在不同大数据资源中创建新的合并数据集的方法。
　　大数据到底是什么？大数据的特征可以通过三个V来描述：Volume（数据体量大）、Variety（数据类型多）和Velocity（数据增长速度快）[2]。大数据相关人士常常也会提出其他V，例如Vision（有目的和计划）、Verification（确保数据符合规范）和Validation（核实目标已完成）。
　　在有关元数据的文献中已对很多大数据的基本原理进行了描述。这类文献讨论了数据描述形式（即如何描述数据）、数据描述语法（例如各种标记语言，如XML等）、语义（即如何用计算机可理解的陈述方式传达数据的含义）、语义的表达语法（例如架构规范，如资源描述框架（RDF）和Web本体语言（OWL））、包含数据价值和自描述信息的数据对象的建立、本体的调度以及以数据对象为成员的类层次体系。
　　对于在数据密集型领域已经取得成功的专家而言，研究元数据似乎是在浪费时间，因为他们对元数据的形式化没有诉求。许多计算机科学家、统计学家、数据库管理员和网络专家可以毫不费力地处理大量的数据，也许他们不认为有必要为大数据资源创造一个“奇怪”的新数据模型。他们觉得自己真正需要的是更大的存储容量和更强大的分布式计算机系统，凭借这些，他们就能存储、检索和分析体量越来越大的数据。然而，这种想法只有在系统使用的数据相对简单或者具有统一标准格式时才适用。一旦大数据资源中的数据变得非常复杂多样，元数据的重要性就会凸显。我们将重点讨论元数据中与大数据息息相关的思想和概念，并重点解释这些思想和概念的必要性以及它们之间的相关性，但不会过于深究细节。
　　当数据的来源不同，形成的形式不同，大小还在增长，价值也在改变，那么当时间延伸到过去和未来时，这场比赛将从数据计算领域转移到数据管理领域。希望本书能说服读者，更快、更强大的计算机是很不错，但这些设备不能弥补在数据准备工作中的不足之处。可以预见，大学、联邦机构和公司将投入大量资金、时间和人力来尝试研究大数据。但如果忽视基础层面的事情，那么他们的项目很可能失败。相反，如果重视大数据的基础知识，则会发现大数据分析能够在普通的计算机上较容易地执行。简单来说，数据本身胜于计算，这也是整本书不断重复的观点。
　　在其他书籍中，一般会忽略与数据准备过程相关的三个至关重要的主题：标识符、不变性和内省。
　　完善的标识符系统可以确保属于某个特定数据对象的所有数据能够通过标识符被正确地赋给该对象，而不是其他对象。这看起来很简单，事实也确实如此，但多数大数据资源总是杂乱无章地分配标识符，致使与某个特定对象相关的信息分散在数据源的各个角落，甚至直接被错误地附加到其他对象中，于是当我们需要追踪这些数据的时候已无能为力。对象标识的概念最为重要，因为在面对复杂的大数据资源时，该资源需要被有效地假设为一个唯一标识符集合。
　　不变性是指被收集到大数据资源中的数据是永久的，不能被篡改的。乍一看，不变性是一个荒诞的和不可能的限制条件。在现实世界中，常有错误发生，信息会发生改变，而且描述信息改变的方法也会发生变化。但一个精明的数据管理员总是知道如何向数据对象中添加信息而不改变当前存在的数据，这些方法在本书中进行了详细描述。
　　内省这个词借用了面向对象的程序设计用语，在大数据的相关文献中并不常见。它是指当数据对象被访问时其自我描述的能力。借助内省，大数据资源的使用者能够快速确定数据对象的内容和该对象的层次结构。内省允许使用者查看那些可被分析的数据关系类型，并弄清楚不同数据资源之间是如何交互的。
　　本书的另一个主题是数据索引，这也是在大数据相关文献中常被忽视的内容。尽管有很多书籍是基于所谓的书后索引编写而成的，但是为大而杂的数据资源准备索引需要花费大量精力。因此，多数大数据资源根本没有正式的索引。也许会有一个网页来链接解释性文件，又或者有一个简短且粗糙的“帮助”索引，但很少能找到一个包含完善的、更新过的词条列表和链接的大数据资源。在没有合理索引的情况下，除了少部分行家外，大部分大数据资源对我们根本毫无用处。我很奇怪，有的组织愿意花费数亿美元在大数据资源上，却不愿意投资数千美元来建立合理的索引。
　　在现有的关于大数据的文献中很难找到上述四个主题，除此之外，本书也涵盖了常见的与大数据设计、架构、操作和分析相关的其他主题，包括数据质量、为非结构化数据提供结构、数据去标识、数据标准和互操作性问题、遗留数据、数据简化和交换、数据分析和软件问题等。针对这些主题，本书将重点讨论其背后的基本原理，而并不关注编程和数学公式。本书给出了一个全面的术语表，涵盖了书中出现的所有技术词汇和专有词汇。该术语表对与大数据实际相关的词条进行了解释说明，读者可以视该术语表为一个独立的文档。
　　最后4章是非技术性的，内容上与利用大数据资源的后果相关。这4章涉及法律、社会和伦理问题。本书最后以我个人对大数据未来及其对世界的影响的观点作为结束。在准备本书时，我在想这4章放在本书的最前面是不是更合适，因为也许这样能够激发读者对其他技术章节的兴趣。最终，考虑到有些读者不熟悉这些章中的技术语言和概念，因此我将它们放在了接近尾声的地方。
　　读者也许会注意到本书中所描述的多数案例来自医学信息学。当前，讨论这一领域的时机已经成熟，因为每一个读者在经济和个人层面都深受来自医学领域所产生的大数据政策和行为的影响。除此之外，关于医疗健康的大数据项目的文献十分丰富，但其中很多文献的成果存在争议，我认为选择那些我可以引证的、可靠的素材是非常重要的。因此，本书参考文献非常多，有超过200篇来自期刊、报纸以及书籍的文章，多数文章可从网上下载。
　　谁应该读这本书？本书是为那些管理大数据资源的专业人士和计算机及信息学领域的学生而写的。专业人士包括：企业和投资机构的领导者，他们必须为项目投入资源；项目主管，他们必须制定一系列可行的目标并管理一个团队，这个团队中的每个人都有一些技能和任务，包括网络专家、数据领域专家、元数据专家、软件程序员、标准专家、互操作专家、数据统计师、分析师以及来自预期用户社区的代表等。来自信息学、计算机科学以及统计学专业的学生会发现，在大学课程中很少讨论大数据面临的挑战，而这些挑战往往是令人惊讶的，有时甚至称得上是令人震惊的。
　　通过掌握大数据设计、维护、增长和验证的基础知识，读者可以学会如何简化大数据资源产生的无穷无尽的任务。如果数据准备合理，经验老到的分析师就能够发现不同大数据资源中数据对象之间的关系。读者会找到整合大数据资源的方法，这比独立的数据库能够提供的好处多得多。
　　参考文献
　　
　　
　　---------------------------大数据技术体系详解：原理、架构与实践---------------------------
　　
　　
　　为什么要写这本书
　　随着大数据技术的普及，它已经被广泛应用于互联网、电信、金融、工业制造等诸多行业。据相关报告统计，大数据人才需求呈井喷态势，越来越多的程序员开始学习大数据技术，这使得它已经成为程序员所需的基本技能。
　　为了满足大数据人才市场需求，越来越多的大数据技术书籍不断面世，包括《Hadoop权威指南》《Hadoop实战》等。尽管如此，面向初、中级学者，能够系统化、体系化介绍大数据技术的基础书籍并不多见。笔者曾接触过大量大数据初学者，他们一直渴望能有一本简单且易于理解的教科书式的大数据书籍出现。为了满足这些读者的需求，笔者根据自己多年的数据项目和培训经验，继《Hadoop技术内幕》书籍之后，于两年前开始尝试编写一本浅显易读的大数据基础书籍。
　　相比于现有的大数据基础书籍，本书具有三大特色：①系统性：深度剖析大数据技术体系的六层架构；②技术性：详尽介绍Hadoop和Spark等主流大数据技术；③实用性：理论与实践相结合，探讨常见的大数据问题。本书尝试以“数据生命周期”为线索，按照分层结构逐步介绍大数据技术体系，涉及数据收集、数据存储、资源管理和服务协调、计算引擎及数据分析五层技术架构，由点及面，最终通过综合案例将这些技术串接在一起。
　　读者对象
　　（1）大数据应用开发人员
　　本书用了相当大的篇幅介绍各个大数据系统的适用场景和使用方式，能够很好地帮助大数据应用开发工程师设计出满足要求的程序。
　　（2）大数据讲师和学员
　　本书按照大数据五层架构，即数据收集→数据存储→资源管理与服务协调→计算引擎→数据分析，完整介绍了整个大数据技术体系，非常易于理解，此外，每节包含大量代码示例和思考题目，非常适合大数据教学。
　　（3）大数据运维工程师
　　对于一名合格的大数据运维工程师而言，适当地了解大数据系统的应用场景、设计原理和架构是十分有帮助的，这不仅有助于我们更快地排除各种可能的大数据系统故障，也能够让运维人员与研发人员更有效地进行沟通。本书可以有效地帮助运维工程师全面理解当下主流的大数据技术体系。
　　（4）开源软件爱好者
　　开源大数据系统（比如Hadoop和Spark）是开源软件中的佼佼者，它们在实现的过程中吸收了大量开源领域的优秀思想，同时也有很多值得学习的创新。通过阅读本书，这部分读者不仅能领略到开源软件的优秀思想，还可以学习如何构建一套完整的技术生态。
　　如何阅读本书
　　本书以数据在大数据系统中的生命周期为线索，介绍以Hadoop与Spark为主的开源大数据技术栈。本书内容组织方式如下。
　　第一部分：主要介绍大数据体系架构，以及Google和Hadoop技术栈，让读者从高层次上对大数据技术有一定了解。
　　第二部分：介绍大数据分析相关技术，主要涉及关系型数据收集工具Sqoop与Canel、非关系型数据收集系统Flume，以及分布式消息队列Kafka。
　　第三部分：介绍大数据存储相关技术，涉及数据存储格式、分布式文件系统及分布式数据库三部分。
　　第四部分：介绍资源管理和服务协调相关技术，涉及资源管理和调度系统YARN，以及资源协调系统ZooKeeper。
　　第五部分：介绍计算引擎相关技术，包括批处理、交互式处理，以及流式实时处理三类引擎，内容涉及MapReduce、Spark、Impala/Presto、Storm等常用技术。
　　第六部分：介绍数据分析相关技术，涉及基于数据分析的语言HQL与SQL、大数据统一编程模型及机器学习库等。
　　大数据体系的逻辑也是本书的逻辑，故这里给出大数据体系逻辑图。
　　勘误和支持
　　由于笔者的水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。为此，笔者特意创建了一个在线支持与应急方案的站点http://hadoop123.com和微信公众号hadoop-123。你可以将书中的错误发布在Bug勘误表页面。如果你遇到任何问题，也可以访问Q&A页面，我将尽量在线上为你提供最满意的解答。如果你有更多宝贵的意见，也欢迎发送邮件至邮箱dongxicheng@yahoo.com，期待能够得到你们的真挚反馈。
　　获取源代码实例
　　本书各节的源代码实例可从网站http://hadoop123.com或微信公众号hadoop-123中获取。
　　致谢
　　感谢我的导师廖华明副研究员，是她引我进入大数据世界。
　　感谢机械工业出版社华章公司的孙海亮编辑对本书的校订，他的鼓励和帮助使我顺利完成了本书的编写工作。
　　最后感谢我的父母，感谢他们的养育之恩，感谢兄长的鼓励和支持，感谢他们时时刻刻给我以信心和力量！
　　谨以此书献给我最亲爱的家人，以及众多热爱大数据技术的朋友们！
　　董西成