[套装书]大数据管理系统原理与技术+大数据分析原理与实践（2册）

2.1.3　关系数据库的索引 20
2.1.4　关系数据库中的查询处理算法 24
2.1.5　并发控制 25
2.1.6　数据库恢复 34
2.2　关系数据库MySQL概述 35
2.3　MySQL应用 36
2.3.1　SQL概述 36
2.3.2　数据定义语句 37
2.3.3　数据处理语句 38
2.3.4　事务和锁定声明 39
2.3.5　其他 45
2.4　存储过程 46
2.4.1　概述 46
2.4.2　建立存储过程 47
2.4.3　调用存储过程 49
2.4.4　查询存储过程 50
2.4.5　删除存储过程 50
2.5　视图 51
2.6　分区 53
2.7　复制 57
2.8　MySQL的Java客户端JDBC 62
2.8.1　JDBC概述 62
2.8.2　JDBC API 63
2.8.3　Java通过JDBC API操作MySQL 66
第3章　数据仓库Hive 72
3.1　数据仓库概述 72
3.1.1　数据仓库的概念和特征 72
3.1.2　数据仓库的体系结构 73
3.1.3　数据仓库的模型 74
3.1.4　数据仓库关键技术 77
3.1.5　数据仓库与大数据 79
3.2　Hive概述 80
3.2.1　Hive存储结构 80
3.2.2　Hive体系结构 82
3.2.3　Hive的任务执行流程 84
3.3　Hive的特征 85
3.3.1　一致性 86
3.3.2　可扩展性 86
3.3.3　事务 86
3.4　Hive的基本概念 87
3.4.1　基本数据类型 87
3.4.2　数据类型转换 89
3.4.3　复杂数据类型 90
3.4.4　文本文件数据编码 91
3.4.5　数据读取模式 92
3.4.6　文件格式与压缩 93
3.4.7　Hive压缩 93
3.4.8　Hive关键字 95
3.5　Hive的使用 97
3.5.1　Hive命令 97
3.5.2　Hive DDL 100
3.5.3　Hive DML 104
3.5.4　HiveQL基本查询 108
3.5.5　Hive函数 118
3.5.6　HiveQL高级查询 121
3.6　面向大数据的优化策略 133
3.6.1　分桶 134
3.6.2　视图和索引 136
3.6.3　模式设计 139
3.7　Hive的调优 144
3.7.1　使用EXPLAIN查看执行计划 145
3.7.2　Hive配置管理 147
3.7.3　限制调整 148
3.7.4　JOIN优化 149
3.7.5　本地模式 155
3.7.6　并行执行 157
3.7.7　严格模式 158
3.7.8　调整Mapper和Reducer个数 159
3.7.9　JVM重用 161
3.7.10　动态分区调整 162
3.7.11　推测执行 163
3.7.12　单个MapReduce中的多个GROUP BY 164
3.7.13　虚拟列 164
3.8　Java通过JDBC操作Hive 165
第4章　NoSQL概述 168
4.1　NoSQL与非关系型数据库 168
4.2　NoSQL数据模型 169
4.2.1　键值数据库 170
4.2.2　文档数据库 171
4.2.3　列族数据库 172
4.2.4　图数据库 173
4.2.5　四者对比 173
4.3　NoSQL数据库中的事务 174
4.3.1　CAP理论 174
4.3.2　BASE原则 175
4.3.3　一致性协议 176
4.4　NoSQL关键技术 177
4.4.1　NoSQL的技术原则 177
4.4.2　存储技术 178
4.4.3　数据划分技术 178
4.4.4　索引技术 179
第5章　键值数据库 182
5.1　模型结构 182
5.2　特征 183
5.2.1　一致性 183
5.2.2　可扩展性 183
5.2.3　事务 184
5.3　关键技术 184
5.3.1　索引技术 184
5.3.2　查询支持 186
5.4　Redis 186
5.4.1　Redis 数据类型 187
5.4.2　Redis的持久化 196
5.4.3　Redis事务 201
5.4.4　Redis的发布订阅 205
5.4.5　Redis的主从复制 208
5.5　Redis的Java客户端Jedis 213
5.5.1　Jedis所需要的jar包 214
5.5.2　Jedis常用操作 214
5.5.3　Jedis Pool 215
第6章　列族数据库 220
6.1　模型结构 220
6.2　特征 222
6.2.1　一致性 222
6.2.2　可用性 223
6.2.3　可扩展性 224
6.3　HBase应用 224
6.3.1　HBase数据模型 225
6.3.2　HBase体系结构 227
6.3.3　HBase基本Shell操作 232
6.3.4　HBase压缩 234
6.3.5　可用客户端Java 236
6.4　架构与设计 244
6.4.1　表设计规则 244
6.4.2　RowKey设计 245
6.4.3　列族的数量 248
6.4.4　版本的数量 248
6.5　HBase集成 248
6.5.1　HBase与Hive集成 249
6.5.2　MapReduce与HBase互操作 251
第7章　非关系型文档数据库 255
7.1　模型结构 255
7.2　特征 257
7.2.1　一致性 257
7.2.2　可扩展性 258
7.2.3　事务 260
7.2.4　可用性 261
7.3　MongoDB 261
7.3.1　概述 261
7.3.2　Mongo Shell 262
7.3.3　MongoDB基本操作 269
7.3.4　索引 276
7.3.5　副本集 279
7.3.6　分片 286
7.4　MongoDB的Java客户端 290
7.4.1　MongoDB驱动包的获得 290
7.4.2　Java操作举例 291
第8章　非关系型图数据库 296
8.1　图数据库 297
8.1.1　图模型的模型和定义 297
8.1.2　图数据库的应用 298
8.1.3　图管理的关键技术 299
8.2　Neo4j概述 302
8.2.1　Neo4j的特点 302
8.2.2　Neo4j的数据模型304
8.2.3　Neo4j关键技术 312
8.3　Neo4j的应用320
8.3.1　使用嵌入在Java应用程序中的Neo4j320
8.3.2　Neo4j的Java客户端环境配置 320
8.3.3　一个简单的小型图数据库例子 321
8.3.4　属性值 325
8.3.5　带索引的用户数据库 325
8.4　Neo4j的优化 331
8.4.1　索引 331
8.4.2　批量导入/导出 332



---------------------------大数据分析原理与实践---------------------------


序
前言
教学建议
第1章　绪论 1
1.1　什么是大数据 1
1.2　哪里有大数据 3
1.3　什么是大数据分析 4
1.4　大数据分析的过程、技术与难点 5
1.5　全书概览 8
小结 10
习题 10
第2章　大数据分析模型 11
2.1　大数据分析模型建立方法 11
2.2　基本统计量 13
2.2.1　全表统计量 14
2.2.2　皮尔森相关系数 15
2.3　推断统计 16
2.3.1　参数估计 16
2.3.2　假设检验 20
2.3.3　假设检验的阿里云实现 23
小结 28
习题 28
第3章　关联分析模型 30
3.1　回归分析 31
3.1.1　回归分析概述 31
3.1.2　回归模型的拓展 35
3.1.3　回归的阿里云实现 43
3.2　关联规则分析 52
3.3　相关分析 54
小结 57
习题 58
第4章　分类分析模型 60
4.1　分类分析的定义 60
4.2　判别分析的原理和方法 61
4.2.1　距离判别法 61
4.2.2　Fisher判别法 64
4.2.3　贝叶斯判别法 67
4.3　基于机器学习分类的模型 71
4.3.1　支持向量机 72
4.3.2　逻辑回归 74
4.3.3　决策树与回归树 75
4.3.4　k近邻 78
4.3.5　随机森林 78
4.3.6　朴素贝叶斯 81
4.4　分类分析实例 82
4.4.1　二分类实例 82
4.4.2　多分类实例 94
小结 101
习题 102
第5章　聚类分析模型 105
5.1　聚类分析的定义 105
5.1.1　基于距离的亲疏关系度量 105
5.1.2　基于相似系数的相似性度量 108
5.1.3　个体与类以及类间的亲疏关系度量 110
5.1.4　变量的选择与处理 111
5.2　聚类分析的分类 111
5.3　聚类有效性的评价 112
5.4　聚类分析方法概述 112
5.5　聚类分析的应用 113
5.6　聚类分析的阿里云实现 114
小结 119
习题 119
第6章　结构分析模型 122
6.1　最短路径 122
6.2　链接排名 123
6.3　结构计数 125
6.4　结构聚类 126
6.5　社团发现 128
6.5.1　社团的定义 128
6.5.2　社团的分类 128
6.5.3　社团的用途 128
6.5.4　社团的数学定义 128
6.5.5　基于阿里云的社团发现 130
小结 132
习题 133
第7章　文本分析模型 135
7.1　文本分析模型概述 135
7.2　文本分析方法概述 136
7.2.1　SplitWord 136
7.2.2　词频统计 137
7.2.3　TF-IDF 138
7.2.4　PLDA 140
7.2.5　Word2Vec 147
小结 148
习题 149
第8章　大数据分析的数据预处理 150
8.1　数据抽样和过滤 150
8.1.1　数据抽样 150
8.1.2　数据过滤 154
8.1.3　基于阿里云的抽样和过滤实现 154
8.2　数据标准化与归一化 157
8.3　数据清洗 159
8.3.1　数据质量概述 159
8.3.2　缺失值填充 160
8.3.3　实体识别与真值发现 162
8.3.4　错误发现与修复 169
小结 171
习题 171
第9章　降维 173
9.1　特征工程 173
9.1.1　特征工程概述 173
9.1.2　特征变换 175
9.1.3　特征选择 178
9.1.4　特征重要性评估 183
9.2　主成分分析 191
9.2.1　什么是主成分分析 191
9.2.2　主成分分析的计算过程 192
9.2.3　基于阿里云的主成分分析 194
9.2.4　主成分的表现度量 195
9.3　因子分析 196
9.3.1　因子分析概述 196
9.3.2　因子分析的主要分析指标 196
9.3.3　因子分析的计算方法 197
9.4　压缩感知 203
9.4.1　什么是压缩感知 203
9.4.2　压缩感知的具体模型 204
9.5　面向神经网络的降维 205
9.5.1　面向神经网络的降维方法概述 205
9.5.2　如何利用神经网络降维 206
9.6　基于特征散列的维度缩减 207
9.6.1　特征散列方法概述 207
9.6.2　特征散列算法 207
9.7　基于Lasso算法的降维 208
9.7.1　Lasso方法简介 208
9.7.2　Lasso方法 209
9.7.3　Lasso算法的适用情景 211
小结 211
习题 212
第10章　面向大数据的数据仓库系统 214
10.1　数据仓库概述 214
10.1.1　数据仓库的基本概念 214
10.1.2　数据仓库的内涵 215
10.1.3　数据仓库的基本组成 215
10.1.4　数据仓库系统的体系结构 216
10.1.5　数据仓库的建立 217
10.2　分布式数据仓库系统 221
10.2.1　基于Hadoop的数据仓库系统 221
10.2.2　Shark：基于Spark的数据仓库系统 227
10.2.3　Mesa 228
10.3　内存数据仓库系统 231
10.3.1　SAP HANA 231
10.3.2　HyPer 234
10.4　阿里云数据仓库简介 236
小结 238
习题 239
第11章　大数据分析算法 240
11.1　大数据分析算法概述 240
11.2　回归算法 242
11.3　关联规则挖掘算法 248
11.4　分类算法 255
11.4.1　二分类算法 256
11.4.2　多分类算法 273
11.5　聚类算法 283
11.5.1　k-means算法 283
11.5.2　CLARANS算法 291
小结 293
习题 293
第12章　大数据计算平台 295
12.1　Spark 295
12.1.1　Spark简介 295
12.1.2　基于Spark的大数据分析实例 296
12.2　Hyracks 299
12.2.1　Hyracks简介 299
12.2.2　基于Hyracks的大数据分析实例 299
12.3　DPark 305
12.3.1　DPark简介 305
12.3.2　基于DPark的大数据分析实例 306
12.4　HaLoop 308
12.4.1　HaLoop简介 308
12.4.2　基于HaLoop的大数据分析实例 308
12.5　MaxCompute 309
12.5.1　MaxCompute简介 309
12.5.2　MaxCompute实战案例介绍 310
12.5.3　基于MaxCompute的大数据分析实例 316
12.5.4　MaxCompute的现状及前景 320
小结 321
习题 321
第13章　流式计算平台 322
13.1　流式计算概述 322
13.1.1　流式计算的定义 322
13.1.2　流式计算的应用 322
13.1.3　流式计算平台的发展 324
13.2　Storm 324
13.2.1　Storm简介 324
13.2.2　Storm的结构 325
13.2.3　基于Storm的大数据分析实例 326
13.3　分布式流处理系统Samza 331
13.3.1　Samza简介 331
13.3.2　Samza的原理 332
13.3.3　基于Samza的大数据分析实例 334
13.4　Cloud Dataflow 339
13.4.1　Cloud Dataflow简介 339
13.4.2　Cloud Dataflow开发模型 340
13.4.3　Cloud Dataflow的应用实例 340
13.5　阿里云StreamCompute 341
13.5.1　阿里云StreamCompute的原理 341
13.5.2　基于StreamCompute的实时数据统计 342
13.5.3　订单统计实例 347
小结 348
习题 349
第14章　大图计算平台 350
14.1　大图计算框架概述 350
14.2　GraphLab 350
14.2.1　GraphLab的计算模型 350
14.2.2　基于GraphLab的大图分析实例 351
14.3　Giraph 353
14.3.1　Giraph简介 353
14.3.2　Giraph的原理 353
14.3.3　Giraph的应用 354
14.3.4　基于Giraph的大图分析实例 354
14.4　Neo4j 358
14.4.1　Neo4j简介 358
14.4.2　基于Noe4j的大图分析实例 359
14.5　Apache Hama 360
14.5.1　Apache Hama简介 360
14.5.2　Apache Hama的结构 361
14.5.3　Apache Hama的工作原理 362
14.6　MaxCompute Graph 363
14.6.1　MaxCompute Graph的原理 363
14.6.2　MaxCompute Graph的使用与配置方法 364
14.5.3　基于MaxCompute Graph的大图分析实例 371
小结 376
习题 377
第15章　社交网络 378
15.1　为社交网络建模 378
15.1.1　社交网络概述 378
15.1.2　社交图 378
15.2　社交网络的结构 379
15.2.1　社交网络的统计学构成 379
15.2.2　社交网络的群体形成 381
15.3　基于社交网络语义分析的利益冲突发现 382
15.4　社交网络中的社区发现 384
15.4.1　动态社交网络中的社区识别框架 384
15.4.2　基于经验比对算法的网络社区检测 387
15.5　社交网络中的关联分析 388
15.5.1　社交网络中的关系强度模型 388
15.5.2　社交网络中“正向链接”与“负向链接”的预测 391
15.6　社交网络中的影响力预测 393
15.7　基于阿里云的社团发现实例 396
小结 403
习题 403
第16章　推荐系统 405
16.1　推荐系统概述 405
16.2　协同过滤 408
16.2.1　协同过滤简介 408
16.2.2　面向物品的协同过滤算法 408
16.2.3　改进的最近邻法 410
16.2.4　集成协同过滤方法 412
16.3　基于用户评价的推荐 413
16.4　基于人的推荐 415
16.4.1　基于用户偏好学习的在线推荐 415
16.4.2　混合推荐系统 418
16.5　基于标记的推荐 422
16.6　社交网络中的推荐 423
16.6.1　基于信号的社交网络推荐 423
16.6.2　基于在线主题的社交网络推荐 425
16.7　基于阿里云的个性推荐系统搭建 427
小结 439
习题 439
参考文献 441
附录

.　　2019年10月18日于哈尔滨
　　
　　
　　---------------------------大数据分析原理与实践---------------------------
　　
　　
　　本书的缘起与成书过程
　　大数据经过分析能够产生高价值，这无疑已在大数据火爆的今天成为共识，从而使得大数据分析在“大数据+”涉及的领域（如工业、医疗、农业、教育等）有了广泛的应用。大数据分析的相关知识不仅是大数据行业的从业人员应该必备的，也是和大数据相关的各行各业的从业者需要了解的。
　　然而，人们对大数据分析的解读有多个不同方面。从“分析”的角度解读，大数据分析可以看作统计分析的延伸；从 “数据”的角度解读，大数据分析可以看作数据管理与挖掘的扩展；从“大”的角度解读，大数据分析可以看作数据密集高性能计算的具体化。
　　而大数据分析的有效实施也需要多个方面的知识。从分析的角度来讲，需要统计学、数据分析、机器学习等方面的知识；从数据处理的角度来讲，需要数据库、数据挖掘等方面的知识；从计算平台的角度来讲，需要并行系统和并行计算的知识。
　　上述多样化造成了目前大数据分析的教材和参考书的多样化：有些书重点介绍统计学或者机器学习知识，突出“分析”；有些书重点介绍实现平台和技术，突出“大”；有些书重点介绍数据挖掘知识及其应用，突出“数据”。笔者认为，这三类知识对大数据分析都是必不可少的，于是试图编写一本教材来融合这三类知识，给读者展示一个相对广阔的大数据分析图景。
　　也正是因为解读的角度和所需知识的多样化，本书的成书过程也比较曲折。在成书的过程中，笔者对大数据分析的认识也在不断加深，因而在编写过程中几次变换结构和体例。由于笔者主要从事数据相关工作，所以起初以大数据分析算法和相关技术为主，对数据分析模型方面的知识只是一笔带过。在和业内人士的交流中发现，对于很多读者来说，了解分析模型可能更重要，因为很多分析算法和大数据分析所需的技术都有平台实现，分析模型却需要了解业务的人来建立，于是笔者增加了较多数据分析模型方面的内容。而后通过和阿里云的合作，笔者又进一步了解了大数据分析的需求，于是增加了数据预处理等内容，并基于阿里云的技术和平台对书中的一些内容做了实现。这就是本书现在的版本。
　　本书的内容
　　本书力求系统地介绍大数据分析过程中的模型、技术、实现平台和应用。考虑到不同部分的侧重不同，故采取了不同的写作方法，尽可能使本书的内容适合更多的读者阅读。
　　模型部分主要突出了大数据分析模型的描述方法。通过这一部分的学习，读者可以在不考虑实现的情况下，针对应用需求建立大数据分析模型，即使不了解实现平台和具体技术，读者也可以独立学习这部分内容。在实践中，可以将分析模型表达为R语言，甚至像阿里云提供的可视化工具中那样分析流程，即使不掌握算法等方面的技术，同样可以进行大数据分析。
　　当然，如果对大数据分析相关技术有深入了解，会更加快速有效地进行分析，因而技术部分介绍了大数据分析所涉及的技术，重点在于解决大数据分析的效率和可扩展性问题。
　　“工欲善其事，必先利其器”，有了好的开发平台，就可以有效地实现相关的技术，因而实现平台部分介绍了多种开发大数据分析系统的实现平台。
　　最后两章针对“推荐系统”和“社交网络”这两个大数据分析的典型应用涉及的一些模型和技术进行了介绍，也是前面内容在应用中的具体体现。
　　“大数据”是一个比较宽泛的概念，本书围绕着分析过程进行讲解，突出大数据的特点，与大数据算法、大数据系统、大数据程序的编程实现、机器学习、统计学等书籍具有互补性，读者可以相互参考。
　　为方便读者的学习，笔者总结了一些大数据分析常用系统和工具的安装与配置方法，读者可登录华章网站（www.hzbook.com）在本书网页中下载文档。
　　本书没讲什么
　　由于大数据分析涉及的内容过于宽泛，尽管笔者试图从多个角度介绍大数据分析，但是限于本书的写作周期和篇幅，有一些读者关心的内容并没有包括在本书之中，比如：
　　数据流分析算法
　　神经网络/深度学习
　　大数据可视化
　　大图分析算法
　　大数据分析技术在医疗、社会安全、教育、工业等多个领域的应用
　　一方面，读者可以阅读相关的书籍了解这些领域的内容；另一方面，笔者也正在筹划，期望能够在本书的再版中列入上述内容。
　　致使用本书的教师
　　本书涉及多方面内容，对于教学而言，本书适用于多门课程的教学，除了直接用于“大数据分析”或者“数据科学”课程的教学之外，还可以作为“数理统计”“数据挖掘”“机器学习”等课程的补充教材。
　　针对不同专业的教学，教师可以选择不同的内容。针对计算机科学专业的本科生或者研究生，可以全面讲授本书的内容，但深度和侧重点上可以有所差别。针对培养数据科学家的“数据科学”专业的学生，如果培养方案中没有计算机系统和算法相关的课程，可以重点讲授第1～7章的内容，第8～11章可以着重讲解技术的选用而不是原理，第15～16章着重讲解背景和模型，其中的算法部分可以略去。针对培养工程师的技术类课程或者培训，可以重点讲授第8～14章，第1～7章中对模型的介绍可以略去，仅通过例子讲授模型的形式就可以。
　　致使用本书的学生
　　笔者希望为学生提供一个大数据分析的较为全面的图景，这使得本书的不同部分有着不同的讲述方式。请读者注意，碰到并不妨碍内容理解的公式和推导，可以跳过，应着重理解其背后的原理。
　　由于本书涉及的内容比较多，相关的背景知识也是必不可少的，因此本书的读者应有一些“线性代数”和“概率论”方面的数学知识，因为对一些模型和算法的描述不得不用到矩阵和概率。第6章和第14章用到了一些“图论”方面的基本概念。具备“数据库系统”的相关知识对理解本书的内容会很有帮助。第12～14章涉及一些“计算机系统”和“分布式系统”的基本知识。如果读者有“数理统计”“机器学习”和“数据挖掘”的知识，那么在阅读本书时会轻松得多，但这三类知识并不是阅读本书所必备的。本书包含了部分“数理统计”“机器学习”和“数据挖掘”的知识，主要分布在第2～9章中。
　　此外，在撰写本书的过程中，笔者注意和已经出版的《大数据算法》一书在内容上做了明确的区分，因而对于《大数据算法》中介绍的内容，本书不再赘述。
　　致使用本书的专业技术人员
　　本书可以作为一本大数据分析的参考书，供专业技术人员阅读。各部分针对的人群有所不同，可以单独查阅涉及的主题。
　　如果读者是一名数据科学家，可以根据业务需求参考第2～7章中的模型，其中大部分模型都可以找到实现的源代码，一些云计算平台（如阿里云）也支持其中大部分模型的实现。在涉及大规模数据的可扩展性时，读者可以参考第8～11章的内容，选择合适的特征、数据缩减方法、数据管理方法和算法。第15～16章中的内容可以作为一些大数据分析的案例，供实际数据分析时参考。
　　如果读者是一名大数据方面的算法研究或者开发人员，可以参考第2～7章中的数据分析模型方面的知识。第8～10章介绍了为算法进行数据准备和数据管理方面的背景知识，第11章介绍了部分大数据分析算法的知识，但相对简略，读者可以进一步阅读《大数据算法》一书。第12～14章介绍了分析算法实现的平台。
　　如果读者是一名大数据分析方面的系统工程师，可以参考第2～11章介绍的系统实现原理，第12～14章介绍了系统实现的平台并给出了一些例子，可以和相关的程序设计书籍对照阅读。本书中涉及的平台的安装和配置方法，读者可登录华章网站下载相关文档。
　　致谢
　　感谢哈尔滨工业大学的李建中教授、高宏教授以及国际大数据计算研究中心的诸位同事对本书的编写给出的指导和建议，以及在专业上对我的帮助。
　　在本书的撰写过程中，哈尔滨工业大学的李东升、袁芳怡、孙铭、韩姗珊、张浩然、王雅萱、黎竹平、苏钰、李佳红、马妍娇、孙芳媛等同学在资料翻译、搜集、整理、文本校对、制图等多个方面提供了帮助和支持，孟凡山、石乾坤、王鹤澎、李斯泽、窦隆绪等同学基于阿里云平台对本书中的部分模型和算法进行了实现，在此对他们表示感谢。
　　非常感谢我的爱人黎玲利副教授，感谢她一如既往地对我工作的支持，不但对书稿提出了许多有益的建议，还在本书的写作期间为我们的家添了可爱的宝宝——壮壮。感谢我的母亲和岳母，她们悉心帮助我们料理家务、照顾壮壮，使得我有时间专注于本书的写作。
　　本书的编写得到了阿里云公司的大力协助，入选“教育部–阿里云产学合作协同育人云计算大数据系列教材改革项目”（编号2016 01001007）。感谢阿里云的李妹芳女士，她在本书成书的过程中提供了大量有益的建议，同时协助我和阿里云的工程师及时沟通，使得在实现过程中遇到的问题得以快速解决。感谢阿里云公司的张良模、宁尚兵、王勇、石立勇、李博、王晓斐等同仁在本书编写过程中给予的帮助和支持。
　　在本书的成书过程中，我和机械工业出版社保持着愉快的合作，感谢机械工业出版社朱劼编辑对我的帮助和支持。
　　还要感谢在哈尔滨工业大学选修“大数据管理与分析”课程的同学，你们所提出的意见和建议对本书的写作大有裨益。
　　最后，作者关于大数据管理和分析方面的研究以及本书的写作还得到了国家自然科学基金项目（编号：U1509216，61472099）、国家科技支撑计划项目（编号：2015BAH10F01）、哈尔滨工业大学研究生教育教学改革研究项目（编号：JGYJ-201527）、黑龙江省留学回国人员基金（编号：LC2016026）和微软–教育部语言语音重点实验室经费的资助，在此表示感谢。
　　本书涉及的内容比较多，且跨越了多个快速发展的领域，而有些领域并不是笔者的专长，尽管笔者尽力去学习，但由于水平有限，在内容安排、表述、推导等方面难免会有不当之处，敬请读者在阅读本书的过程中不吝提出宝贵的建议，以期改进本书。
　　从大数据产生开始，对其基本概念、分析方法、计算平台等方面的争论就一直没有停止过，本书并没有试图回避这些争论，而是在一些地方将争论的不同观点和笔者的观点都列出来，请读者做出自己的判断，也欢迎读者发表自己的观点。读者若有意见和建议，请与笔者联系：wangzh@hit.edu.cn。
　　王宏志
　　2017年2月7日于哈尔滨