(特价书)Python数据分析与挖掘实战（第2版）

2.2.1　运行方式 16
2.2.2　基本命令 17
2.2.3　数据结构 19
2.2.4　库的导入与添加 24
2.3　Python数据分析工具 26
2.3.1　NumPy 27
2.3.2　SciPy 28
2.3.3　Matplotlib 29
2.3.4　pandas 31
2.3.5　StatsModels 33
2.3.6　scikit-learn 33
2.3.7　Keras 34
2.3.8　Gensim 36
2.4　配套附件使用设置 37
2.5　小结 38
第3章　数据探索 39
3.1　数据质量分析 39
3.1.1　缺失值分析 40
3.1.2　异常值分析 40
3.1.3　一致性分析 44
3.2　数据特征分析 44
3.2.1　分布分析 44
3.2.2　对比分析 48
3.2.3　统计量分析 51
3.2.4　周期性分析 54
3.2.5　贡献度分析 55
3.2.6　相关性分析 58
3.3　Python主要数据探索函数 62
3.3.1　基本统计特征函数 62
3.3.2　拓展统计特征函数 66
3.3.3　统计绘图函数 67
3.4　小结 74
第4章　数据预处理 75
4.1　数据清洗 75
4.1.1　缺失值处理 75
4.1.2　异常值处理 80
4.2　数据集成 80
4.2.1　实体识别 81
4.2.2　冗余属性识别 81
4.2.3　数据变换 81
4.2.4　简单函数变换 81
4.2.5　规范化 82
4.2.6　连续属性离散化 84
4.2.7　属性构造 87
4.2.8　小波变换 88
4.3　数据归约 91
4.3.1　属性归约 91
4.3.2　数值归约 95
4.4　Python主要数据预处理函数 98
4.5　小结 101
第5章　挖掘建模 102
5.1　分类与预测 102
5.1.1　实现过程 103
5.1.2　常用的分类与预测算法 103
5.1.3　回归分析 104
5.1.4　决策树 108
5.1.5　人工神经网络 115
5.1.6　分类与预测算法评价 120
5.1.7　Python分类预测模型特点 125
5.2　聚类分析 125
5.2.1　常用聚类分析算法 126
5.2.2　K-Means聚类算法 127
5.2.3　聚类分析算法评价 132
5.2.4　Python主要聚类分析算法 133
5.3　关联规则 135
5.3.1　常用关联规则算法 136
5.3.2　Apriori算法 136
5.4　时序模式 142
5.4.1　时间序列算法 142
5.4.2　时间序列的预处理 143
5.4.3　平稳时间序列分析 145
5.4.4　非平稳时间序列分析 148
5.4.5　Python主要时序模式算法 156
5.5　离群点检测 159
5.5.1　离群点的成因及类型 160
5.5.2　离群点检测方法 160
5.5.3　基于模型的离群点检测方法 161
5.5.4　基于聚类的离群点检测方法 164
5.6　小结 167
实战篇
第6章　财政收入影响因素分析及预测 170
6.1　背景与挖掘目标 170
6.2　分析方法与过程 171
6.2.1　分析步骤与流程 172
6.2.2　数据探索分析 172
6.2.3　数据预处理 176
6.2.4　模型构建 178
6.3　上机实验 184
6.4　拓展思考 185
6.5　小结 186
第7章　航空公司客户价值分析 187
7.1　背景与挖掘目标 187
7.2　分析方法与过程 188
7.2.1　分析步骤与流程 189
7.2.2　数据探索分析 189
7.2.3　数据预处理 200
7.2.4　模型构建 207
7.2.5　模型应用 212
7.3　上机实验 214
7.4　拓展思考 215
7.5　小结 216
第8章　商品零售购物篮分析 217
8.1　背景与挖掘目标 217
8.2　分析方法与过程 218
8.2.1　数据探索分析 219
8.2.2　数据预处理 224
8.2.3　模型构建 226
8.3　上机实验 232
8.4　拓展思考 233
8.5　小结 233
第9章　基于水色图像的水质评价 234
9.1　背景与挖掘目标 234
9.2　分析方法与过程 235
9.2.1　分析步骤与流程 236
9.2.2　数据预处理 236
9.2.3　模型构建 240
9.2.4　水质评价 241
9.3　上机实验 242
9.4　拓展思考 242
9.5　小结 243
第10章　家用热水器用户行为分析与事件识别 244
10.1　背景与挖掘目标 244
10.2　分析方法与过程 245
10.2.1　数据探索分析 246
10.2.2　数据预处理 249
10.2.3　模型构建 260
10.2.4　模型检验 261
10.3　上机实验 262
10.4　拓展思考 264
10.5　小结 265
第11章　电子商务网站用户行为分析及服务推荐 266
11.1　背景与挖掘目标 266
11.2　分析方法与过程 267
11.2.1　分析步骤与流程 267
11.2.2　数据抽取 269
11.2.3　数据探索分析 270
11.2.4　数据预处理 279
11.2.5　构建智能推荐模型 283
11.3　上机实验 291
11.4　拓展思考 293
11.5　小结 293
第12章　电商产品评论数据情感分析 294
12.1　背景与挖掘目标 294
12.2　分析方法与过程 295
12.2.1　评论预处理 296
12.2.2　评论分词 297
12.2.3　构建模型 303
12.3　上机实验 315
12.4　拓展思考 316
12.5　小结 318
提高篇
第13章　基于Python引擎的开源数据挖掘建模平台（TipDM） 320
13.1　平台简介 321
13.1.1　模板 321
13.1.2　数据源 322
13.1.3　工程 323
13.1.4　系统组件 324
13.1.5　TipDM数据挖掘建模平台的本地化部署 326
13.2　快速构建数据挖掘工程 327
13.2.1　导入数据 329
13.2.2　配置输入源组件 331
13.2.3　配置缺失值处理组件 332
13.2.4　配置记录选择组件 334
13.2.5　配置数据标准化组件 334
13.2.6　配置K-Means组件 336
13.3　小结 339

.　　第12章为原书第15章，增加了章节的引言；删除原书“15.2.1评论数据采集”的内容；12.2.1节优化了预处理的方法，并增加了Python实现代码；12.2.2节优化了分词的方法，并增加了Python实现代码；“12.2.3构建模型”修改了情感倾向分析的描述，增加了寻找最优主题数的内容，以及相关的Python实现代码。
　　删除原书“第6章电力窃漏电用户自动识别”“第8章中医证型关联规则挖掘”“第11章应用系统负载分析与磁盘容量预测”“第14章基于基站定位数据的商圈分析”这4章。
　　此外，本版本还额外增加了提高篇，即“第13章基于Python引擎的开源数据挖掘建模平台（TipDM）”，基于开源数据挖掘建模平台（TipDM）实现案例，不仅能够帮助企业建立自己的数据挖掘平台，而且能辅助编程能力较弱的读者更好地理解案例。
　　本书特色
　　本书作者从实践出发，结合大量数据挖掘工程案例及教学经验，以真实案例为主线，深入浅出地介绍了数据挖掘建模过程中的有关任务：数据探索、数据预处理、分类与预测、聚类分析、时序预测、关联规则挖掘、智能推荐、偏差检测等。因此，本书的编排以解决某个应用的挖掘目标为前提，先介绍案例背景，提出挖掘目标，再阐述分析方法与过程，最后完成模型构建。在介绍建模的过程中同时穿插操作训练，把相关的知识点嵌入相应的操作过程中。为方便读者轻松获取真实的实验环境，本书使用大家熟知的Python语言对样本数据进行处理，以进行挖掘建模。
　　为了帮助读者更好地使用本书，本书提供配套的原始数据文件、Python程序代码，读者可以从“泰迪杯”数据挖掘挑战赛网站（http://www.tipdm.org/tj/1615.jhtml）免费下载。为方便教师授课，本书还提供了PPT课件，教师可到网址http://www.tipdm.org/tj/840.jhtml咨询获取。
　　本书适用对象
　　开设数据挖掘课程的高校的教师和学生。
　　目前，国内不少高校将数据挖掘引入本科教学中，在数学、计算机、自动化、电子信息、金融等专业开设了数据挖掘技术的相关课程，但这一课程的教学仍然主要限于理论介绍。单纯的理论教学过于抽象，学生理解起来往往比较困难，教学效果也不甚理想。本书提供的基于实战案例和建模实践的教学，能够使师生充分发挥互动性和创造性，理论联系实际，使师生获得最佳的教学效果。
　　需求分析及系统设计人员。
　　这类人员可以在理解数据挖掘原理及建模过程的基础上，结合数据挖掘案例完成精确营销、客户分群、交叉销售、流失分析、客户信用记分、欺诈发现、智能推荐等数据挖掘应用的需求分析和设计。
　　数据挖掘开发人员。
　　这类人员可以在理解数据挖掘应用需求和设计方案的基础上，结合本书提供的基于第三方接口快速完成数据挖掘应用的编程实现。
　　从事数据挖掘应用研究的科研人员。
　　许多科研院所为了更好地管理科研工作，纷纷开发了适应自身特点的科研业务管理系统，并在使用过程中积累了大量的科研信息数据。但是，这些科研业务管理系统一般没有对数据进行深入分析，对数据所隐藏的价值也没有充分挖掘利用。科研人员需要利用数据挖掘建模工具及有关方法论来深挖科研信息的价值，从而提高科研水平。
　　关注高级数据分析的人员。
　　业务报告和商业智能解决方案对有关人员了解过去和现在的状况是非常有用的。同时，数据挖掘的预测分析解决方案还能使这类人员预见未来的发展状况，让他们所在的机构能够先发制人，而不是处于被动。因为数据挖掘的预测分析解决方案将复杂的统计方法和机器学习技术应用到数据之中，通过预测分析技术来揭示隐藏在交易系统或企业资源计划（ERP）、结构数据库和普通文件中的模式和趋势，从而为这类人员的决策提供科学依据。
　　如何阅读本书
　　本书共13章，分为基础篇、实战篇、提高篇。基础篇介绍了数据挖掘的基本原理；实战篇介绍了一些真实案例，通过对案例深入浅出的剖析，使读者在不知不觉中获得数据挖掘项目经验，同时快速领悟看似难懂的数据挖掘理论；提高篇介绍了一个基于Python引擎的开源数据挖掘建模平台，通过平台去编程、拖曳式的操作，向读者展示了平台流程化的思维，使读者加深对数据挖掘流程的理解。读者在阅读过程中，应充分利用随书配套的案例建模数据，借助相关的数据挖掘建模工具，通过上机实验，快速理解相关知识与理论。
　　基础篇（第1～5章）
　　第1章的主要内容是数据挖掘基础；第2章对本书所用到的数据挖掘建模工具Python语言进行了简明扼要的说明；第3～5章对数据挖掘的建模过程，包括数据探索、数据预处理及挖掘建模的常用算法与原理进行了介绍。
　　实战篇（第6～12章）
　　重点对数据挖掘技术在金融、航空、零售、能源、制造和电商等行业的应用进行了分析。在案例结构组织上，本书是按照先介绍案例背景与挖掘目标，再阐述分析方法与过程，最后完成模型构建的顺序进行的，在建模过程关键环节，穿插程序实现代码。最后通过上机实践，加深对案例应用中的数据挖掘技术的理解。
　　提高篇（第13章）
　　重点讲解了基于Python引擎的开源数据挖掘建模平台（TipDM）的使用方法，先介绍了平台每个模块的功能，再以航空公司客户价值分析案例为例，介绍如何使用平台快速搭建数据分析与挖掘工程，展示平台去编程化、流程化的特点。
　　勘误和支持
　　我们已经尽最大努力避免在文本和代码中出现错误，但是由于水平有限，编写时间仓促，书中难免出现一些疏漏和不足的地方。如果你有更多的宝贵意见，欢迎在泰迪学社微信公众号回复“图书反馈”进行反馈。更多有关本系列图书的信息可以在“泰迪杯”数据挖掘挑战赛网站（http://www.tipdm.org/tj/index.jhtml）查阅。
　　张良均