模式识别

2.1.8奇异值分解........................................22
2.1.9(半)正定实对称矩阵........................................22
2.2概率........................................23
2.2.1基础........................................23
2.2.2联合分布、条件分布与贝叶斯定理........................................25
2.2.3期望与方差/协方差矩阵........................................26
2.2.4不等式........................................27
2.2.5独立性与相关性........................................28
2.2.6正态分布........................................29
2.3优化与矩阵微积分........................................30
2.3.1局部极小、必要条件和矩阵微积分........................................30
2.3.2凸优化与凹优化........................................31
2.3.3约束优化和拉格朗日乘子法........................................33
2.4算法复杂度........................................34
2.5阅读材料........................................35
习题........................................35
第3章模式识别系统概述........................................39
3.1人脸识别........................................39
3.2一个简单的最近邻分类器........................................40
3.2.1训练或学习........................................40
3.2.2测试或预测........................................40
3.2.3最近邻分类器........................................41
3.2.4k-近邻........................................42
3.3丑陋的细节........................................43
3.4制定假设并化简........................................46
3.4.1设计工作环境vs.设计复杂算法........................................46
3.4.2假设与简化........................................47
3.5一种框架........................................51
3.6阅读材料........................................51
习题........................................53
第4章评估........................................55
4.1简单情形中的准确率和错误率........................................55
4.1.1训练与测试误差........................................56
4.1.2过拟合与欠拟合........................................56
4.1.3使用验证集来选择超参数........................................58
4.1.4交叉验证........................................59
4.2最小化代价/损失........................................61
4.2.1正则化........................................62
4.2.2代价矩阵........................................62
4.2.3贝叶斯决策理论........................................63
4.3不平衡问题中的评估........................................64
4.3.1单个类别内的比率........................................64
4.3.2ROC曲线下的面积........................................65
4.3.3查准率、查全率和F值........................................66
4.4我们能达到100％的准确率吗........................................68
4.4.1贝叶斯错误率........................................68
4.4.2真实标记........................................69
4.4.3偏置-方差分解........................................70
4.5对评估结果的信心........................................73
4.5.1为什么要取平均........................................73
4.5.2为什么要报告样本标准差........................................74
4.5.3比较两个分类器........................................75
4.6阅读材料........................................79
习题........................................79
第二部分与领域知识无关的特征提取........................................83
第5章主成分分析........................................84
5.1动机........................................84
5.1.1维度与内在维度........................................84
5.1.2降维........................................86
5.1.3PCA与子空间方法........................................86
5.2PCA降维到零维子空间........................................86
5.2.1想法-形式化-优化实践........................................87
5.2.2一个简单的优化........................................87
5.2.3一些注释........................................88
5.3PCA降维到一维子空间........................................88
5.3.1新的形式化........................................88
5.3.2最优性条件与化简........................................89
5.3.3与特征分解的联系........................................90
5.3.4解........................................91
5.4PCA投影到更多维度........................................91
5.5完整的PCA算法........................................92
5.6方差的分析........................................93
5.6.1从最大化方差出发的PCA........................................94
5.6.2一种更简单的推导........................................95
5.6.3我们需要多少维度呢........................................95
5.7什么时候使用或不用PCA呢........................................96
5.7.1高斯数据的PCA........................................96
5.7.2非高斯数据的PCA........................................96
5.7.3含异常点数据的PCA........................................98
5.8白化变换........................................98
5.9特征分解vs.SVD........................................98
5.10阅读材料........................................99
习题........................................99
第6章Fisher线性判别........................................103
6.1用于二分类的FLD........................................104
6.1.1想法:什么是隔得很远呢........................................104
6.1.2翻译成数学语言........................................105
6.1.3散度矩阵vs.协方差矩阵........................................107
6.1.4两种散度矩阵以及FLD的目标函数........................................108
6.1.5优化........................................108
6.1.6等等,我们有一条捷径........................................109
6.1.7二分类问题的FLD........................................109
6.1.8陷阱:要是SW不可逆呢........................................110
6.2用于多类的FLD........................................111
6.2.1稍加修改的符号和SW........................................111
6.2.2SB的候选........................................111
6.2.3三个散度矩阵的故事........................................112
6.2.4解........................................113
6.2.5找到更多投影方向........................................113
6.3阅读材料........................................113
习题........................................114
第三部分分类器与其他工具........................................119
第7章支持向量机........................................120
7.1SVM的关键思想........................................120
7.1.1简化它!简化它!简化它!........................................120
7.1.2查找最大（或较大）间隔的分类器........................................121
7.2可视化并计算间隔........................................122
7.2.1几何的可视化........................................123
7.2.2将间隔作为优化来计算........................................124
7.3最大化间隔........................................124
7.3.1形式化........................................125
7.3.2各种简化........................................125
7.4优化与求解........................................127
7.4.1拉格朗日函数与KKT条件........................................127
7.4.2SVM的对偶形式........................................128
7.4.3最优的b值与支持向量........................................129
7.4.4同时考虑原始形式与对偶形式........................................131
7.5向线性不可分问题和多类问题的扩展........................................131
7.5.1不可分问题的线性分类器........................................132
7.5.2多类SVM........................................134
7.6核SVM........................................134
7.6.1核技巧........................................135
7.6.2Mercer条件与特征映射........................................136
7.6.3流行的核函数与超参数........................................137
7.6.4SVM的复杂度、权衡及其他........................................138
7.7阅读材料........................................139
习题........................................139
第8章概率方法........................................144
8.1思考问题的概率路线........................................144
8.1.1术语........................................144
8.1.2分布与推断........................................145
8.1.3贝叶斯定理........................................145
8.2各种选择........................................146
8.2.1生成式模型vs.判别式模型........................................146
8.2.2参数化vs.非参数化........................................147
8.2.3该如何看待一个参数呢........................................148
8.3参数化估计........................................148
8.3.1最大似然........................................148
8.3.2最大后验........................................150
8.3.3贝叶斯........................................151
8.4非参数化估计........................................153
8.4.1一个一维的例子........................................153
8.4.2直方图近似中存在的问题........................................155
8.4.3让你的样本无远弗届........................................156
8.4.4核密度估计........................................157
8.4.5带宽选择........................................158
8.4.6多变量KDE........................................158
8.5做出决策........................................159
8.6阅读材料........................................159
习题........................................160
第9章距离度量与数据变换........................................163
9.1距离度量和相似度度量........................................163
9.1.1距离度量........................................164
9.1.2向量范数和度量........................................164
9.1.3`p范数和`p度量........................................165
9.1.4距离度量学习........................................167
9.1.5均值作为一种相似度度量........................................168
9.1.6幂平均核........................................170
9.2数据变换和规范化........................................171
9.2.1线性回归........................................172
9.2.2特征规范化........................................173
9.2.3数据变换........................................175
9.3阅读材料........................................177
习题........................................177
第10章信息论和决策树........................................182
10.1前缀码和霍夫曼树........................................182
10.2信息论基础........................................183
10.2.1熵和不确定性........................................184
10.2.2联合和条件熵........................................184
10.2.3互信息和相对熵........................................185
10.2.4一些不等式........................................186
10.2.5离散分布的熵........................................187
10.3连续分布的信息论........................................187
10.3.1微分熵........................................188
10.3.2多元高斯分布的熵........................................189
10.3.3高斯分布是最大熵分布........................................191
10.4机器学习和模式识别中的信息论........................................192
10.4.1最大熵........................................192
10.4.2最小交叉熵........................................193
10.4.3特征选择........................................194
10.5决策树........................................195
10.5.1异或问题及其决策树模型........................................195
10.5.2基于信息增益的结点划分........................................197
10.6阅读材料........................................198
习题........................................199
第四部分处理变化多端的数据........................................203
第11章稀疏数据和未对齐数据........................................204
11.1稀疏机器学习........................................204
11.1.1稀疏PCA........................................204
11.1.2使用`1范数诱导稀疏性........................................205
11.1.3使用过完备的字典........................................208
11.1.4其他一些相关的话题........................................210
11.2动态时间规整........................................212
11.2.1未对齐的时序数据........................................212
11.2.2思路（或准则）........................................213
11.2.3可视化和形式化........................................214
11.2.4动态规划........................................215
11.3阅读材料........................................218
习题........................................218
第12章隐马尔可夫模型........................................222
12.1时序数据与马尔可夫性质........................................222
12.1.1各种各样的时序数据和模型........................................222
12.1.2马尔可夫性质........................................224
12.1.3离散时间马尔可夫链........................................225
12.1.4隐马尔可夫模型........................................227
12.2HMM学习中的三个基本问题........................................228
12.3、ˉ和评估问题........................................229
12.3.1前向变量和算法........................................230
12.3.2后向变量和算法........................................231
12.4°、±、和解码问题........................................234
12.4.1°和独立解码的最优状态........................................234
12.4.2±、和联合解码的最优状态........................................235
12.5和HMM参数的学习........................................237
12.5.1Baum-Welch:以期望比例来更新.......................................238
12.5.2如何计算........................................238
12.6阅读材料........................................240
习题........................................241
第五部分高阶课题........................................245
第13章正态分布........................................246
13.1定义........................................246
13.1.1单变量正态分布........................................246
13.1.2多元正态分布........................................247
13.2符号和参数化形式........................................248
13.3线性运算与求和........................................249
13.3.1单变量的情形........................................249
13.3.2多变量的情形........................................250
13.4几何和马氏距离........................................251
13.5条件作用........................................252
13.6高斯分布的乘积........................................253
13.7应用Ⅰ:参数估计........................................254
13.7.1最大似然估计........................................254
13.7.2贝叶斯参数估计........................................255
13.8应用Ⅱ:卡尔曼滤波........................................256
13.8.1模型........................................256
13.8.2估计........................................257
13.9在本章中有用的数学........................................258
13.9.1高斯积分........................................258
13.9.2特征函数........................................259
13.9.3舒尔补&矩阵求逆引理........................................260
13.9.4向量和矩阵导数........................................262
习题........................................263
第14章EM算法的基本思想........................................266
14.1GMM:一个工作实例........................................266
14.1.1高斯混合模型........................................266
14.1.2基于隐变量的诠释........................................267
14.1.3假若我们能观测到隐变量,那会怎样......................................268
14.1.4我们可以模仿先知吗........................................269
14.2EM算法的非正式描述........................................270
14.3期望最大化算法........................................270
14.3.1联合非凹的不完整数据对数似然........................................271
14.3.2(可能是)凹的完整数据对数似然........................................271
14.3.3通用EM的推导........................................272
14.3.4E步和M步........................................274
14.3.5EM算法........................................275
14.3.6EM能收敛吗........................................275
14.4EM用于GMM........................................276
14.5阅读材料........................................279
习题........................................279
第15章卷积神经网络........................................281
15.1预备知识........................................281
15.1.1张量和向量化........................................282
15.1.2向量微积分和链式法则........................................283
15.2CNN概览........................................283
15.2.1结构........................................283
15.2.2前向运行........................................285
15.2.3随机梯度下降........................................285
15.2.4误差反向传播........................................286
15.3层的输入、输出和符号........................................287
15.4ReLU层........................................288
15.5卷积层........................................290
15.5.1什么是卷积........................................290
15.5.2为什么要进行卷积........................................291
15.5.3卷积作为矩阵乘法........................................293
15.5.4克罗内克积........................................295
15.5.5反向传播:更新参数........................................296
15.5.6更高维的指示矩阵........................................297
15.5.7反向传播:为前一层准备监督信号........................................298
15.5.8用卷积层实现全连接层........................................300
15.6汇合层........................................301
15.7案例分析:VGG-16网络........................................303
15.7.1VGG-Verydeep-16........................................303
15.7.2感受野........................................304
15.8CNN的亲身体验........................................305
15.9阅读材料........................................305
习题........................................305
参考文献........................................309
英文索引........................................325
中文索引........................................332

.　　在努力提高可读性之余,笔者也已尽力使本书严谨、准确,但受精力和水平所限,书中的错误在所难免.欢迎读者(例如使用本教材的老师与同学,以及相关领域的研究和开发人员)不吝指出书中技术上、文字上或是翻译中的任何错误(请发送电子邮件至pr.book.wujx@gmail.com).笔者将在本书配套主页一并致谢.
　　吴建鑫
　　2019 年 1 月于南京