[套装书]Python金融数据挖掘与分析实战+Python广告数据挖掘与分析实战（2册）

.
这是一部营销和广告数据挖掘与分析的实战指南，横跨技术和业务两个维度，理论与实践相结合。技术维度，结合营销与广告行业的实际需求，系统讲解了广告数据挖掘的模型、算法以及数据分析方法，从而实现面向用户的精准营销；业务维度，结合广告业务的具体场景，为广告中的具体问题提供解决方案。更重要的是，本书还讲解了热门的机器学习算法在广告数据挖掘与分析中的应用。
全书共 10 章，从逻辑上可分为技术理论知识和具体业务应用两个部分。前6章以及第10章主要讲解了广告数据分析与挖掘的技术、方法和应用，第7～9 章则主要讲解了广告业务中的具体问题及相应的解决方法。
第1～2 章主要介绍了Python的安装和环境配置，以及广告数据和广告数据分析的基础知识；
第3～6章深入讲解了Python常用的工具包、模型常用的评价指标，以及如何利用Python建立广告分类模型和集成模型。
第7～8章讲解了广告数据分析的典型案例和常用分析方法，以及如何做一份满意的数据分析报告。
第9章讲解了如何运用数据分析与挖掘方法解决广告业务中的实际问题。
第 10 章主要讲解了常用的数据预处理及特征选择方法。

.资深数据分析专家和AI技术专家，在广告领域工作多年，目前就职于微思敦深圳分公司皓量科技。在AI技术领域有非常深厚的积累，擅长机器学习和自然语言处理，对图像识别技术也有一定的研究。
个人微信公众号：数据挖掘与AI算法。
周健
资深数据挖掘工程师，现就职于国内某大型征信服务公司，曾为多家国有银行、股份制银行、大型金融机构提供反欺诈、信用评分方案。在传统机器学习方面有深入的理解和丰富的实战经验，在网络爬虫和自然语言处理方面也有自己独特的见解。

2.4.1　算术运算符 20
2.4.2　比较运算符 22
2.4.3　赋值运算符 23
2.4.4　按位运算符 24
2.4.5　逻辑运算符 25
2.4.6　成员运算符 26
2.4.7　身份运算符 27
2.4.8　运算符优先级 28
2.5　Python条件与循环语句 29
2.5.1　条件语句 29
2.5.2　循环语句 31
2.6　Python函数 38
2.7　Python模块 43
2.8　Python 文件处理 46
2.9　Python异常 48
2.10　数据分析相关库 50
2.10.1　NumPy 50
2.10.2　Matplotlib 51
2.10.3　PySpark 53
2.10.4　其他常用库 54
2.11　习题 55
第3章　数据预处理 56
3.1　数据分析工作流程 56
3.2　数据预处理 58
3.2.1　数据集导入 59
3.2.2　数据概览 60
3.2.3　数据清洗 61
3.2.4　类别变量转换 66
3.2.5　数据分割 67
3.2.6　特征缩放 68
3.3　鸟瞰机器学习 71
3.4　习题 72
第4章　数据挖掘方法 74
4.1　分类分析 74
4.1.1　决策树 75
4.1.2　支持向量机 75
4.1.3　分类算法的选择 76
4.2　聚类分析 76
4.2.1　K均值算法 77
4.2.2　聚类算法和分类算法的区别 78
4.3　回归分析 78
4.3.1　变量间的关系 79
4.3.2　回归分析算法的分类和步骤 79
4.3.3　回归分析算法的选择 81
4.4　关联分析 81
4.4.1　关联规则 82
4.4.2　关联规则的序列模式 82
4.5　时间序列分析 83
4.5.1　时间序列分析方法和步骤 83
4.5.2　时间序列的三种预测模式 85
4.6　异常检测 85
4.7　推荐算法 86
4.8　习题 89
第5章　网络舆情采集与热点分析 90
5.1　网络舆情概述 90
5.1.1　大数据网络舆情背景 90
5.1.2　舆情处理过程 91
5.2　舆情数据采集 94
5.2.1　网络舆情采集工具 95
5.2.2　网络舆情数据爬取实例 100
5.3　实战：微博热点话题聚类 104
5.4　习题 110
第6章　舆情研判之情感分类 112
6.1　情感分析介绍 112
6.1.1　情感分析分类 112
6.1.2　情感分析文本预处理 114
6.1.3　实战：中文文本处理练习 115
6.2　情感分类方法 118
6.2.1　基于词典的情感分类 118
6.2.2　基于机器学习的情感分类 121
6.2.3　基于深度学习模型的情感分类 122
6.3　情感分类实战演练 131
6.3.1　淘宝家电商品评论情感分类预测 131
6.3.2　京东客户评论情感倾向预测 134
6.4　习题 140
第7章　用机器学习方法预测股价 142
7.1　股市数据分析价值 142
7.1.1　案例背景 142
7.1.2　案例价值 143
7.2　ARIMA模型 144
7.3　实战：基于SVM和ARIMA的股价预测 145
7.4 习题 156
第8章　用人工智能方法预测股价 157
8.1　神经网络预测方法 157
8.1.1　门控循环单元 158
8.1.2　VADER情感分析 158
8.2　实战：基于LSTM和GRU的股价预测 159
8.3　实战：股票市场新闻情感分析 165
8.4　习题 172
第9章　个人信用评分 173
9.1　个人信用评分概述 173
9.1.1　需求背景 174
9.1.2　国内外发展状况 175
9.2　信用评分的技术与方法 176
9.2.1　信用评分的简要历史 176
9.2.2　信用评分的主要模型与方法 176
9.3　信用评分卡模型 180
9.3.1　模型介绍 180
9.3.2　数据分箱 180
9.3.3　WOE值 182
9.3.4　IV值 183
9.3.5　逻辑回归算法原理 185
9.3.6　模型评价指标 186
9.3.7　建立信用评分卡 190
9.4　实战：信用评分卡 190
9.4.1　读取数据 191
9.4.2　数据预处理 191
9.4.3　探索性分析 197
9.4.4　模型分析 204
9.4.5　建立信用评分卡 208
9.5　习题 211
第10章　个人信用等级评估 213
10.1　概述 213
10.2　个人信用等级评估方法 215
10.2.1　决策树 215
10.2.2　随机森林 221
10.2.3　XGBoost简介 224
10.2.4　多重共线性 228
10.2.5　数据重采样 229
10.3　实战：个人信用等级评估 232
10.3.1　导入相应包并读取数据 232
10.3.2　查看数据情况 234
10.3.3　数据预处理及相关函数构建 241
10.3.4　模型训练 244
10.3.5　预测并生成结果 251
10.4　习题 253
第11章　企业信用评估 255
11.1　企业信用评估概述 255
11.2　企业信用评估的技术与方法 257
11.2.1　支持向量机 257
11.2.2　朴素贝叶斯 259
11.2.3　感知机 260
11.3　实战：企业信用评估 261
11.3.1　导入相应包并读取数据 261
11.3.2　数据预处理 262
11.3.3　可视化各变量总体分布直方图 264
11.3.4　建模分析预测企业违约情况 271
11.3.5　模型评估 273
11.3.6　模型预测 273
11.4　习题 274
第12章　用户画像 276
12.1　用户画像的价值 276
12.1.1　用户画像的定义 277
12.1.2　标签体系 278
12.1.3　用户画像的意义 282
12.2　用户画像的构建 283
12.2.1　用户画像的构建步骤 283
12.2.2　创建用户画像的方法 287
12.2.3　丰富用户画像 290
12.3　实战：电商用户画像构建 292
12.4　实战：电商用户行为分析 303
12.5　习题 321
第13章　目标客户运营 322
13.1　目标客户运营概述 322
13.2　目标客户运营模型 323
13.2.1　目标客户模型探索 323
13.2.2　目标客户聚类算法 326
13.3　目标客户的挖掘与分类 330
13.3.1　挖掘目标客户 331
13.3.2　目标客户的可视化工具 332
13.3.3　基于RFM模型的客户分类 333
13.3.4　基于LRFMC模型的客户分类 334
13.4　实战：商场客户细分管理 335
13.4.1　导入相关库 335
13.4.2　数据可视化及分析 336
13.4.3　K均值聚类分析 342
13.5　实战：航空公司VIP客户体系管理 345
13.5.1　数据集说明 345
13.5.2　导入相关库 346
13.5.3　数据分析及可视化 347
13.5.4　特征属性的相关性分析 354
13.5.5　属性规约 355
13.5.6　构建聚类模型 357
13.5.7　客户分群可视化 361
13.6　习题 363
第14章　智能推荐 364
14.1　精准营销概述 364
14.1.1　传统营销 365
14.1.2　新时代营销 366
14.2　智能推荐概述 367
14.2.1　Apriori算法 369
14.2.2　FP-Growth算法 374
14.2.3　关联规则的应用实例 378
14.3　实战：火锅店推荐 379
14.3.1　导入相关库 380
14.3.2　数据可视化及分析 381
14.3.3　特色菜推荐 386
14.3.4　K均值聚类分析 387
14.3.5　智能推荐器 388
14.4　实战：基于关联规则的数据挖掘 390
14.4.1　导入相关库 391
14.4.2　数据可视化及分析 392
14.4.3　关联分析—Apriori算法 398
14.5　习题 401
参考文献 403



---------------------------8079652 - Python广告数据挖掘与分析实战---------------------------


前言
第1章　Python安装方法1
1.1　Python介绍1
1.1.1　Python的由来1
1.1.2　Python的特点2
1.2　Anaconda安装2
1.3　PyCharm安装及环境配置9
1.3.1　PyCharm安装9
1.3.2　PyCharm环境配置12
1.4　为什么建议使用Python17
1.5　本章小结18
第2章　认识广告数据分析19
2.1　广告数据概述19
2.1.1　广告数据的特点19
2.1.2　广告数据分析的意义20
2.2　广告数据分布20
2.2.1　伯努利分布20
2.2.2　均匀分布20
2.2.3　二项分布21
2.2.4　正态分布22
2.2.5　泊松分布22
2.2.6　指数分布23
2.3　异常值诊断24
2.3.1　三倍标准差法24
2.3.2　箱形图分析法25
2.4　数据相关性26
2.4.1　Pearson相关系数26
2.4.2　Spearman秩相关系数26
2.5　显著性检验27
2.6　本章小结27
第3章　Python广告数据分析常用工具包29
3.1　数据基础运算工具：NumPy29
3.1.1　常见数据结构30
3.1.2　索引与切片34
3.1.3　数组运算35
3.1.4　矩阵运算39
3.1.5　广播42
3.1.6　其他常用操作43
3.2　数据预处理工具：Pandas46
3.2.1　数据结构概述47
3.2.2　数据加载49
3.2.3　数据拼接53
3.2.4　数据聚合57
3.2.5　数据透视表和交叉表59
3.2.6　广告缺失值处理60
3.3　数据可视化分析工具：Matplotlib63
3.3.1　散点图64
3.3.2　条形图65
3.3.3　折线图66
3.3.4　饼图68
3.3.5　直方图68
3.3.6　箱形图71
3.3.7　组合图72
3.4　本章小结74
第4章　模型常用评价指标75
4.1　回归模型常用评价指标75
4.1.1　R275
4.1.2　调整后的R276
4.2　分类模型常用评价指标77
4.2.1　混淆矩阵77
4.2.2　ROC曲线79
4.2.3　AUC80
4.2.4　KS指标82
4.2.5　提升度85
4.3　本章小结87
第5章　利用Python建立广告分类模型88
5.1　逻辑回归88
5.1.1　逻辑回归原理88
5.1.2　损失函数89
5.1.3　利用Python建立逻辑回归92
5.2　决策树92
5.2.1　决策树概述92
5.2.2　决策树算法93
5.2.3　决策树剪枝处理96
5.2.4　决策树的实现97
5.3　KNN98
5.3.1　距离度量98
5.3.2　KNN算法原理99
5.3.3　KNN算法中K值的选取100
5.3.4　KNN中的一些注意事项100
5.3.5　KNN分类算法实现101
5.4　SVM101
5.4.1　最大间隔超平面101
5.4.2　支持向量103
5.4.3　目标函数104
5.4.4　软间隔最大化106
5.4.5　核函数107
5.4.6　SVM算法的应用109
5.5　神经网络110
5.5.1　结构特点110
5.5.2　训练过程111
5.5.3　激活函数114
5.5.4　损失函数117
5.5.5　神经网络的实现118
5.6　本章小结118
第6章　利用Python建立广告集成模型119
6.1　随机森林119
6.1.1　随机森林的Bagging思想119
6.1.2　随机森林的生成及优点120
6.1.3　袋外误差121
6.1.4　Scikit-learn随机森林类库介绍122
6.1.5　随机森林模型的实现123
6.2　GBDT124
6.2.1　GBDT算法思想124
6.2.2　GBDT算法原理125
6.2.3　Scikit-learn GBDT类库介绍126
6.2.4　使用Scikit-learn类库实现GBDT算法127
6.3　XGBoost128
6.3.1　XGBoost算法思想128
6.3.2　XGBoost算法原理129
6.3.3　XGBoost算法的优点130
6.3.4　XGBoost类库参数131
6.3.5　使用Scikit-learn类库实现XGBoost算法132
6.4　Stacking133
6.4.1　Stacking算法思想134
6.4.2　Stacking算法原理135
6.4.3　Stacking算法实现136
6.5　LR+GBDT137
6.5.1　LR+GBDT原理138
6.5.2　LR+GBDT在广告CTR中的应用139
6.5.3　LR+GBDT算法实现140
6.6　FM142
6.6.1　FM的原理142
6.6.2　FM的改进145
6.6.3　FM的Python实现145
6.7　本章小结147
第7章　移动广告常用数据分析方法149
7.1　App下载数据分析149
7.2　游戏行业用户分析151
7.2.1　游戏行业数据分析的作用152
7.2.2　游戏行业的关键数据指标152
7.2.3　游戏用户数据分析方法154
7.3　电商类App用户转化分析156
7.4　工具类App用户分析162
7.5　本地O2O婚纱摄影行业分析163
7.5.1　精准人群定向164
7.5.2　广告创意素材164
7.6　品牌广告与效果广告166
7.7　本章小结168
第8章　广告数据分析报告169
8.1　分析观点明确，逻辑清晰169
8.2　汇报结果，用数据说话170
8.3　分析过程有理有据171
8.4　图表说明171
8.5　数据验证173
8.6　分析建议173
8.7　本章小结174
第9章　广告用户数据挖掘与分析175
9.1　广告用户曝光与响应率分析175
9.2　广告用户曝光与点击率分析178
9.3　广告订单消耗与延时性分析181
9.3.1　Budget Smooth算法184
9.3.2　Budget Smooth的系统设计184
9.4　Lookalike聚类分析186
9.4.1　Lookalike概述186
9.4.2　K-means聚类187
9.4.3　K-means算法的过程188
9.4.4　K-means算法的实现188
9.5　Lookalike技术在广告中的应用190
9.5.1　Lookalike的基本流程190
9.5.2　微信社交中的Lookalike应用191
9.6　本章小结192
第10章　广告数据预处理与特征选择193
10.1　广告数据预处理193
10.1.1　特征缩放193
10.1.2　特征编码195
10.2　常用特征选择方法197
10.2.1　Filter198
10.2.2　Wrapper203
10.2.3　Embedded207
10.3　PCA209
10.3.1　PCA的主要思想209
10.3.2　最大方差理论210
10.4　本章小结214

.　　本书共分为14章，采用双主线的写作方式：一条主线是理论，涵盖基础理论相关概念的介绍以及各种算法原理的讲解；另外一条主线是实战，既包括如何上手Python，又包括相关主题实例分析。
　　第1～3章为Python数据分析基础，内容涵盖了选取Python语言做数据分析的原因、Jupyter Notebook的使用、Python基础知识和语法入门以及数据预处理流程和技巧，可帮助初学者快速上手Python，为之后的数据分析实战夯实基础。
　　第4章讲解经典的数据挖掘方法，包括聚类分析、回归分析、分类分析、异常检测、关联分析、时间序列分析等。
　　本书从第5章开始介绍深度学习相关的理论知识与实践。其中，第5章主要介绍网络舆情的采集和热点分析，并通过爬取微博热门评论对热点话题进行聚类分析，使读者初步了解网络舆情分析，为以后深入研究网络舆情发展和变化打下坚实的基础。第6章详细介绍舆情分析的重中之重：情感分类。从评论文本分析出用户的情感倾向，精确掌握用户对于某一产品的整体使用感受，便于向商户提供产品决策支持信息。
　　第7章和第8章讲解利用传统的机器学习算法以及深度学习中的循环神经网络对股价趋势进行预测，重点阐述了SVM算法和ARIMA算法，同时证明了市场情感对股票市场的发展趋势有着不容忽视的影响。
　　第9～11章介绍了个人信用评分和企业信用评分的技术与方法，先后阐述了相关算法及理论基础，并结合具体实例，让读者更加清晰地了解并掌握个人及企业信用评估的整个流程。
　　人物画像有利于精准定位用户群体并获取用户需求和反馈信息。第12章主要讲解用户画像，包括用户画像的定义、标签体系、用户画像的意义以及用户画像的构建等，还通过两个用户画像的实战案例，帮助读者在实际应用中进一步理解和构建用户画像。
　　第13章主要讲述搭建目标客户运营体系流程、目标客户的挖掘与分类等，通过可视化展示、聚类算法以及LRFMC分类模型的建立精确区分目标客户，从而实现对客户的精准分群管理，达到稳固企业运营体系的目的。第14章通过对销售数据的进一步分析挖掘，同时借助关联规则—Apriori算法—实现商品智能推荐、关联商品的组合销售以及客户的精准营销，最终达到让企业获取更多利润的目的。
　　读者对象
　　本书适合以下几类读者：
　　金融行业数据相关岗位技术人员；
　　企业运营人员；
　　数据分析师；
　　数据挖掘工程师；
　　高等院校相关专业学生。
　　致谢
　　在此，特别感谢我的硕士导师谢希仁教授和博士导师李三立院士。谢希仁教授出版的《计算机网络》已经更新到了第8版，堪称与时俱进且日臻完美的典范，这时时提醒着我们要以这样的标准来写书。李三立院士是留苏博士，为我国计算机事业做出了杰出贡献，曾任国家攀登计划计算项目首席科学家。他治学严谨，带出了一大批杰出的学生。
　　本书是集体智慧的结晶，在此谨向付出辛勤劳动的各位同行者致敬！书中难免会有不当之处，请读者不吝赐教。我的邮箱为gloud@126.com，微信公众号为“刘鹏看未来”（lpoutlook）。
　　刘鹏
　　2021年9月
　　
　　
　　---------------------------8079652 - Python广告数据挖掘与分析实战---------------------------
　　
　　
　　为何写作本书
　　近几年来大数据、云计算、人工智能等概念越来越深入人心，相关技术也越来越成熟。技术的进步必然会带来社会的发展，进而推动整个人类社会不断进步。机器学习、深度学习、强化学习等均属于人工智能的细分领域，数据分析又是机器学习的基础，近几年在现实中的应用场景非常多，作用越发明显，因而越来越受到重视。随着5G时代的到来，数据分析、AI方面的人才将更加紧缺，可以说未来很长一段时间数据分析人才都会是招聘市场上的高端人才，备受企业青睐。本书旨在帮助读者快速了解移动广告相关业务知识及具体应用，掌握数据分析相关理论和实践技能。
　　本书主要特点
　　本书将深入剖析广告营销行业的常见数据分析案例，并结合当前热门的机器学习和AI算法在广告营销场景的具体应用进行介绍，帮助读者更好地理解广告行业相关业务与技术应用，快速掌握广告营销数据分析所需要的基本知识和技能。书中采用Python作为项目实战编程语言，可帮助读者学习用Python进行数据分析和解决现实问题。
　　本书读者对象
　　本书是一本广告营销行业数据分析入门指导书，适合的读者对象主要分为下面几类：
　　广告营销专业的在校学生；
　　对广告营销数据分析感兴趣的其他行业从业者；
　　想转行做广告数据分析的职场白领、开发人员、其他技术人员等。
　　如何阅读本书
　　本书共10章，从逻辑上可分为技术理论知识和具体业务应用两部分。其中，第1～2章主要介绍Python的安装和环境配置，带领读者认识广告数据，理解广告数据分析的意义。第3～6章主要介绍Python常用工具包以及模型常用评价指标，并利用Python建立广告分类模型。第7～8章主要介绍广告数据分析典型案例及常用分析方法，教读者如何做一份满意的数据分析报告。第9章主要介绍如何运用数据分析挖掘方法解决广告业务中的实际问题。第10章主要介绍常用的数据预处理及特征选择方法。
　　总之，前6章以及第10章主要介绍广告数据分析挖掘技术理论和应用，第7～9章则主要介绍广告业务中的具体问题及相应的解决方法，读者可以有选择性地阅读相应内容，有兴趣的话也可以通读全书。
　　勘误
　　尽管作者已经尽了自己最大的努力，但书中仍有不尽如人意的地方。若读者发现本书有错误之处，或者针对本书内容有更好的写作建议及意见，可以在微信公众号“数据挖掘与AI算法”上进行反馈。
　　致谢
　　动手写作本书时，我已有孕在身，所以一直顾虑颇多，很担心无法按时交稿。如今书稿付梓在即，心中感慨万千。首先要感谢本书的另一位作者周健的努力和配合，其次要感谢我的家人对我的理解和支持，没有他们，本书是无法顺利完成的。还要特别感谢机械工业出版社华章公司的两位编辑杨福川和李艺，他们的大力支持和辛勤付出才让本书得以顺利出版。
　　杨游云
　　

.　　——宋天龙触脉咨询副总裁/《Python数据分析与数据化运营》作者
　　随着5G、智能设备的普及以及各种App的不断涌现，广告主能够越来越简单地通过各种私域、公域渠道触达用户，甚至能够选择触达用户的时机，以及为不同用户呈现不同的广告创意，也就是说，“在合适的时间、合适的渠道为合适的用户呈现合适的内容”的营销愿景离现实越来越近。当然，这一切都需要数据分析的支撑。营销和广告行业一直是数据比较密集、数据价值比较大的行业之一，如何在这些数据中发掘出有价值的信息，不断提升广告投放的ROI是从业者面临的一大难题。游云基于自己丰富的广告行业经验以及数据分析经验，在书中详细介绍了广告行业数据分析的方法和原理，相信能够帮助大家更好地应对这一难题。
　　——李新国 前国双科技广告监测产品负责人/阿里巴巴技术专家