[套装书]Java人工神经网络构建+神经网络与深度学习（2册）

2.9　函数导数与函数发散 11
2.10　最常用的函数导数 12
2.11　本章小结 13
第3章　人工神经网络处理 14
3.1　示例1：单点函数的手动逼近 14
3.2　构建神经网络 15
3.3　前向传递计算 16
3.3.1　隐藏层 16
3.3.2　输出层 17
3.4　反向传递计算 18
3.4.1　计算输出层神经元的权值调整 18
3.4.2　计算隐藏层神经元的权值调整 20
3.5　更新网络偏差 24
3.6　回到前向传递 25
3.6.1　隐藏层 25
3.6.2　输出层 26
3.7　网络计算的矩阵形式 28
3.8　深入调查 28
3.9　小批次与随机梯度 30
3.10　本章小结 30
第4章　配置开发环境 31
4.1　在Windows计算机上安装
Java 11环境 31
4.2　安装NetBeans IDE 33
4.3　安装Encog Java框架 34
4.4　安装XChart包 34
4.5　本章小结 35
第5章　使用Java Encog框架开发神经网络 36
5.1　示例2：使用Java环境进行函数逼近 36
5.2　网络架构 37
5.3　规范化输入数据集 38
5.4　构建规范化两个数据集的Java程序 38
5.5　构建神经网络处理程序 45
5.6　程序代码 50
5.7　调试和执行程序 66
5.8　训练方法的处理结果 66
5.9　测试网络 67
5.10　测试结果 70
5.11　深入调查 71
5.12　本章小结 72
第6章　训练范围外的神经网络预测 73
6.1　示例3a：逼近训练范围以外的周期函数 73
6.1.1　示例3a的网络架构 76
6.1.2　示例3a的程序代码 76
6.1.3　测试网络 89
6.2　示例3b：逼近训练范围以外的周期函数的正确方法 90
6.2.1　准备训练数据 90
6.2.2　示例3b的网络架构 92
6.2.3　示例3b的程序代码 93
6.2.4　示例3b的训练结果 109
6.2.5　示例3b的测试结果 110
6.3　本章小结 110
第7章　复杂周期函数的处理 112
7.1　示例4：复杂周期函数的逼近 112
7.2　数据准备 114
7.3　反映数据中的函数拓扑 115
7.4　程序代码 120
7.5　训练网络 137
7.6　测试网络 138
7.7　深入调查 140
7.8　本章小结 141
第8章　非连续函数的处理 142
8.1　示例5：非连续函数的逼近 142
8.2　程序代码 145
8.3　训练效果不理想 157
8.4　用微批次方法逼近非连续函数 159
8.5　微批次处理程序代码 160
8.5.1　getChart()方法的程序代码 176
8.5.2　训练方法的代码片段1 179
8.5.3　训练方法的代码片段2 180
8.6　微批次方法的训练结果 184
8.7　测试处理逻辑 188
8.8　微批次方法的测试结果 191
8.9　深入调查 192
8.10　本章小结 196
第9章　具有复杂拓扑的连续函数的处理 197
9.1　示例5a：使用传统的网络过程逼近具有复杂拓扑的连续函数 197
9.1.1　示例5a的网络架构 198
9.1.2　示例5a的程序代码 199
9.1.3　示例5a的训练处理结果 208
9.2　用微批次方法逼近具有复杂拓扑的连续函数 211
9.3　示例5b：螺旋函数的逼近 232
9.3.1　示例5b的网络架构 234
9.3.2　示例5b的程序代码 235
9.4　用微批次方法逼近同一函数 246
9.5　本章小结 267
第10章　用神经网络对对象进行分类 268
10.1　示例6：记录分类 268
10.2　训练数据集 269
10.3　网络架构 271
10.4　测试数据集 272
10.5　数据规范化程序代码 273
10.6　分类程序代码 277
10.7　训练结果 297
10.8　测试结果 304
10.9　本章小结 305
第11章　选择正确模型的重要性 306
11.1　示例7：预测下个月的股市价格 306
11.2　在数据集中包含函数拓扑 311
11.3　生成微批次文件 312
11.4　网络架构 316
11.5　程序代码 317
11.6　训练过程 341
11.7　训练结果 342
11.8　测试数据集 347
11.9　测试逻辑 351
11.10　测试结果 358
11.11　分析测试结果 360
11.12　本章小结 361
第12章　三维空间中的函数逼近处理 362
12.1　示例8：三维空间中函数的逼近 362
12.1.1　数据准备 363
12.1.2　网络架构 364
12.2　程序代码 365
12.3　本章小结 380



---------------------------神经网络与深度学习---------------------------


序
前言
常用符号表
第一部分 机器学习基础
第1章 绪论3
1.1人工智能...............................4
1.1.1人工智能的发展历史....................5
1.1.2人工智能的流派.......................7
1.2机器学习...............................7
1.3表示学习...............................8
1.3.1局部表示和分布式表示...................9
1.3.2表示学习...........................11
1.4深度学习...............................11
1.4.1端到端学习..........................12
1.5神经网络...............................13
1.5.1人脑神经网络........................13
1.5.2人工神经网络........................14
1.5.3神经网络的发展历史....................15
1.6本书的知识体系...........................17
1.7常用的深度学习框架.........................18
1.8总结和深入阅读...........................20
第2章 机器学习概述23
2.1基本概念...............................24
2.2机器学习的三个基本要素......................26
2.2.1模型..............................26
2.2.2学习准则...........................27
2.2.3优化算法...........................30
2.3机器学习的简单示例——线性回归.................33
2.3.1参数学习...........................34
2.4偏差-方差分解............................38
2.5机器学习算法的类型.........................41
2.6数据的特征表示...........................43
2.6.1传统的特征学习.......................44
2.6.2深度学习方法........................46
2.7评价指标...............................46
2.8理论和定理..............................49
2.8.1PAC学习理论........................49
2.8.2没有免费午餐定理......................50
2.8.3奥卡姆剃刀原理.......................50
2.8.4丑小鸭定理..........................51
2.8.5归纳偏置...........................51
2.9总结和深入阅读...........................51
第3章 线性模型
3.1线性判别函数和决策边界......................56
3.1.1二分类............................56
3.1.2多分类............................58
3.2Logistic回归.............................59
3.2.1参数学习...........................60
3.3Softmax回归.............................61
3.3.1参数学习...........................62
3.4感知器.................................64
3.4.1参数学习...........................64
3.4.2感知器的收敛性.......................66
3.4.3参数平均感知器.......................67
3.4.4扩展到多分类........................69
3.5支持向量机..............................71
3.5.1参数学习...........................73
3.5.2核函数............................74
3.5.3软间隔............................74
3.6损失函数对比.............................75
3.7总结和深入阅读...........................76
第二部分 基础模型
第4章 前馈神经网络81
4.1神经元.................................82
4.1.1Sigmoid型函数.......................83
4.1.2ReLU函数..........................86
4.1.3Swish函数..........................88
4.1.4GELU函数..........................89
4.1.5Maxout单元.........................89
4.2网络结构...............................90
4.2.1前馈网络...........................90
4.2.2记忆网络...........................90
4.2.3图网络............................90
4.3前馈神经网络.............................91
4.3.1通用近似定理........................93
4.3.2应用到机器学习.......................94
4.3.3参数学习...........................95
4.4反向传播算法.............................95
4.5自动梯度计算.............................98
4.5.1数值微分...........................99
4.5.2符号微分...........................99
4.5.3自动微分...........................100
4.6优化问题...............................103
4.6.1非凸优化问题........................103
4.6.2梯度消失问题........................104
4.7总结和深入阅读...........................104
第5章 卷积神经网络109
5.1卷积..................................110
5.1.1卷积的定义..........................110
5.1.2互相关............................112
5.1.3卷积的变种..........................113
5.1.4卷积的数学性质.......................114
5.2卷积神经网络.............................115
5.2.1用卷积来代替全连接....................115
5.2.2卷积层............................116
5.2.3汇聚层............................118
5.2.4卷积网络的整体结构....................119
5.3参数学习...............................120
5.3.1卷积神经网络的反向传播算法...............120
5.4几种典型的卷积神经网络......................121
5.4.1LeNet-5............................122
5.4.2AlexNet...........................123
5.4.3Inception网络........................125
5.4.4残差网络...........................126
5.5其他卷积方式.............................127
5.5.1转置卷积...........................127
5.5.2空洞卷积...........................129
5.6总结和深入阅读...........................130
第6章 循环神经网络133
6.1给网络增加记忆能力.........................134
6.1.1延时神经网络........................134
6.1.2有外部输入的非线性自回归模型..............134
6.1.3循环神经网络........................135
6.2简单循环网络.............................135
6.2.1循环神经网络的计算能力..................136
6.3应用到机器学习...........................138
6.3.1序列到类别模式.......................138
6.3.2同步的序列到序列模式...................139
6.3.3异步的序列到序列模式...................139
6.4参数学习...............................140
6.4.1随时间反向传播算法....................141
6.4.2实时循环学习算法......................142
6.5长程依赖问题.............................143
6.5.1改进方案...........................144
6.6基于门控的循环神经网络......................145
6.6.1长短期记忆网络.......................145
6.6.2LSTM网络的各种变体...................147
6.6.3门控循环单元网络......................148
6.7深层循环神经网络..........................149
6.7.1堆叠循环神经网络......................150
6.7.2双向循环神经网络......................150
6.8扩展到图结构.............................151
6.8.1递归神经网络........................151
6.8.2图神经网络..........................152
6.9总结和深入阅读...........................153
第7章 网络优化与正则化157
7.1网络优化...............................157
7.1.1网络结构多样性.......................158
7.1.2高维变量的非凸优化....................158
7.1.3神经网络优化的改善方法..................160
7.2优化算法...............................160
7.2.1小批量梯度下降.......................160
7.2.2批量大小选择........................161
7.2.3学习率调整..........................162
7.2.4梯度估计修正........................167
7.2.5优化算法小结........................170
7.3参数初始化..............................171
7.3.1基于固定方差的参数初始化.................172
7.3.2基于方差缩放的参数初始化.................173
7.3.3正交初始化..........................175
7.4数据预处理..............................176
7.5逐层归一化..............................178
7.5.1批量归一化..........................179
7.5.2层归一化...........................181
7.5.3权重归一化..........................182
7.5.4局部响应归一化.......................182
7.6超参数优化..............................183
7.6.1网格搜索...........................183
7.6.2随机搜索...........................184
7.6.3贝叶斯优化..........................184
7.6.4动态资源分配........................185
7.6.5神经架构搜索........................186
7.7网络正则化..............................186
7.7.11和2正则化........................187
7.7.2权重衰减...........................188
7.7.3提前停止...........................188
7.7.4丢弃法............................189
7.7.5数据增强...........................191
7.7.6标签平滑...........................191
7.8总结和深入阅读...........................192
第8章 注意力机制与外部记忆197
8.1认知神经学中的注意力.......................198
8.2注意力机制..............................199
8.2.1注意力机制的变体......................201
8.3自注意力模型.............................203
8.4人脑中的记忆.............................205
8.5记忆增强神经网络..........................207
8.5.1端到端记忆网络.......................208
8.5.2神经图灵机..........................210
8.6基于神经动力学的联想记忆.....................211
8.6.1Hopfiel网络........................212
8.6.2使用联想记忆增加网络容量.................215
8.7总结和深入阅读...........................215
第9章 无监督学习219
9.1无监督特征学习...........................220
9.1.1主成分分析..........................220
9.1.2稀疏编码...........................222
9.1.3自编码器...........................224
9.1.4稀疏自编码器........................225
9.1.5堆叠自编码器........................226
9.1.6降噪自编码器........................226
9.2概率密度估计.............................227
9.2.1参数密度估计........................227
9.2.2非参数密度估计.......................229
9.3总结和深入阅读...........................232
第10章 模型独立的学习方式235
10.1集成学习...............................235
10.1.1AdaBoost算法........................237
10.2自训练和协同训练..........................240
10.2.1自训练............................240
10.2.2协同训练...........................240
10.3多任务学习..............................242
10.4迁移学习...............................245
10.4.1归纳迁移学习........................246
10.4.2转导迁移学习........................247
10.5终身学习...............................249
10.6元学习.................................252
10.6.1基于优化器的元学习....................253
10.6.2模型无关的元学习......................254
10.7总结和深入阅读...........................255
第三部分 进阶模型
第11章 概率图模型261
11.1模型表示...............................262
11.1.1有向图模型..........................263
11.1.2常见的有向图模型......................264
11.1.3无向图模型..........................267
11.1.4无向图模型的概率分解...................267
11.1.5常见的无向图模型......................269
11.1.6有向图和无向图之间的转换.................270
11.2学习..................................271
11.2.1不含隐变量的参数估计...................271
11.2.2含隐变量的参数估计....................273
11.3推断..................................279
11.3.1精确推断...........................279
11.3.2近似推断...........................282
11.4变分推断...............................283
11.5基于采样法的近似推断.......................285
11.5.1采样法............................285
11.5.2拒绝采样...........................287
11.5.3重要性采样..........................288
11.5.4马尔可夫链蒙特卡罗方法..................289
11.6总结和深入阅读...........................292
第12章 深度信念网络297
12.1玻尔兹曼机..............................297
12.1.1生成模型...........................299
12.1.2能量最小化与模拟退火...................301
12.1.3参数学习...........................302
12.2受限玻尔兹曼机...........................304
12.2.1生成模型...........................305
12.2.2参数学习...........................307
12.2.3受限玻尔兹曼机的类型...................308
12.3深度信念网络.............................309
12.3.1生成模型...........................310
12.3.2参数学习...........................310
12.4总结和深入阅读...........................313
第13章 深度生成模型317
13.1概率生成模型.............................318
13.1.1密度估计...........................318
13.1.2生成样本...........................319
13.1.3应用于监督学习.......................319
13.2变分自编码器.............................319
13.2.1含隐变量的生成模型....................319
13.2.2推断网络...........................321
13.2.3生成网络...........................323
13.2.4模型汇总...........................323
13.2.5再参数化...........................325
13.2.6训练..............................325
13.3生成对抗网络.............................327
13.3.1显式密度模型和隐式密度模型...............327
13.3.2网络分解...........................327
13.3.3训练..............................329
13.3.4一个生成对抗网络的具体实现：DCGAN..........330
13.3.5模型分析...........................330
13.3.6改进模型...........................333
13.4总结和深入阅读...........................336
第14章 深度强化学习339
14.1强化学习问题.............................340
14.1.1典型例子...........................340
14.1.2强化学习定义........................340
14.1.3马尔可夫决策过程......................341
14.1.4强化学习的目标函数....................343
14.1.5值函数............................344
14.1.6深度强化学习........................345
14.2基于值函数的学习方法.......................346
14.2.1动态规划算法........................346
14.2.2蒙特卡罗方法........................349
14.2.3时序差分学习方法......................350
14.2.4深度Q网络..........................353
14.3基于策略函数的学习方法......................354
14.3.1REINFORCE算法......................356
14.3.2带基准线的REINFORCE算法...............356
14.4演员-评论员算法...........................358
14.5总结和深入阅读...........................360
第15章 序列生成模型365
15.1序列概率模型.............................366
15.1.1序列生成...........................367
15.2N元统计模型.............................368
15.3深度序列模型.............................370
15.3.1模型结构...........................370
15.3.2参数学习...........................373
15.4评价方法...............................373
15.4.1困惑度............................373
15.4.2BLEU算法..........................374
15.4.3ROUGE算法.........................375
15.5序列生成模型中的学习问题.....................375
15.5.1曝光偏差问题........................376
15.5.2训练目标不一致问题....................377
15.5.3计算效率问题........................377
15.6序列到序列模型...........................385
15.6.1基于循环神经网络的序列到序列模型...........386
15.6.2基于注意力的序列到序列模型...............387
15.6.3基于自注意力的序列到序列模型..............388
15.7总结和深入阅读...........................390
附录数学基础 393
附录A 线性代数 394
附录B 微积分 404
附录C 数学优化 413
附录D 概率论 420
附录E 信息论 433
索引 439

.　　本书是为那些有兴趣在Java环境中学习神经网络编程的专业开发人员编写的，同时也适合经验丰富的人工智能开发人员阅读—他们会发现与开发更复杂的神经网络应用程序有关的更前沿的主题和技巧。本书还包括我的最新研究—非连续函数和具有复杂拓扑的连续函数的神经网络逼近。
　　致谢
　　感谢Apress及其优秀的编辑团队，以及技术评审者，感谢他们为本书的出版所做的贡献。
　　
　　
　　---------------------------神经网络与深度学习---------------------------
　　
　　
　　近年来，以机器学习、知识图谱为代表的人工智能技术逐渐变得普及．从车牌识别、人脸识别、语音识别、智能助手、推荐系统到自动驾驶，人们在日常生活中都可能有意无意地用到了人工智能技术．这些技术的背后都离不开人工智能领域研究者的长期努力．特别是最近这几年，得益于数据的增多、计算能力的增强、学习算法的成熟以及应用场景的丰富，越来越多的人开始关注这个“崭新”的研究领域：深度学习．深度学习以神经网络为主要模型，一开始用来解决机器学习中的表示学习问题．但是由于其强大的能力，深度学习越来越多地用来解决一些通用人工智能问题，比如推理、决策等．目前，深度学习技术在学术界和工业界取得了广泛的成功，受到高度重视，并掀起新一轮的人工智能热潮．
　　然而，我们也应充分意识到目前以深度学习为核心的各种人工智能技术和“人类智能”还不能相提并论．深度学习需要大量的标注数据，和人类的学习方式差异性很大．虽然深度学习取得了很大的成功，但是深度学习还不是一种可以解决一系列复杂问题的通用智能技术，而是可以解决单个问题的一系列技术．比如可以打败人类的AlphaGo只能下围棋，而不会做简单的算术运算．想要达到通用人工智能依然困难重重．
　　本书的写作目的是使得读者能够掌握神经网络与深度学习技术的基本原理，知其然还要知其所以然．全书共15章．第1章是绪论，概要介绍人工智能、机器学习和深度学习，使读者全面了解相关知识．第2、3章介绍机器学习的基础知识．第4～6章分别讲述三种主要的神经网络模型：前馈神经网络、卷积神经网络和循环神经网络．第7章介绍神经网络的优化与正则化方法．第8章介绍神经网络中的注意力机制和外部记忆．第9章简要介绍一些无监督学习方法．第10章介绍一些模型独立的机器学习方法：集成学习、自训练和协同训练、多任务学习、迁移学习、终身学习、元学习等，这些都是目前深度学习的难点和热点问题．第11章介绍概率图模型的基本概念，为后面的章节进行铺垫．第12章介绍两种早期的深度学习模型：玻尔兹曼机和深度信念网络．第13章介绍最近两年发展十分迅速的深度生成模型：变分自编码器和生成对抗网络．第14章介绍深度强化学习的知识．第15章介绍应用十分广泛的序列生成模型．
　　2015年复旦大学计算机学院开设了“神经网络与深度学习”课程．讲好深度学习课程并不是一件容易的事，当时还没有关于深度学习的系统介绍，而且课程涉及的知识点非常多并且比较杂乱，和实践结合也十分紧密．作为任课教师，我尝试梳理了深度学习的知识体系，并写了一本讲义放在网络上．虽然现在看起来当时对深度学习的理解仍然十分粗浅，且讲义存在很多错误，但依然受到了很多热心网友的鼓励．2016年年初，机械工业出版社华章公司的姚蕾编辑多次拜访并希望我能将这个讲义整理成书．我一方面被姚蕾编辑的诚意打动，另一方面也确实感到应该有一本面向在校学生和相关从业人员的关于深度学习的专门书籍，因此最终有了正式出版的意愿．但我依然低估了写书的难度，一方面是深度学习的发展十分迅速，而自己关于深度学习的认知也在不断变化，导致已写好的内容经常需要修改；另一方面是平时的科研工作十分繁忙，很难抽出大段的时间来静心写作，因此断断续续的写作一直拖延至今．
　　我理想中著书立说的境界是在某一个领域有自己的理论体系，将各式各样的方法都统一到自己的体系下，并可以容纳大多数技术，从新的角度来重新解释这些技术．本书显然还达不到这样的水平，但希望能结合自身的经验，对神经网络和深度学习的相关知识进行梳理、总结，通过写书这一途径，也促使自己能够更加深入地理解深度学习这一领域，提高自身的理论水平．
　　本书能够完成，首先感谢我的导师吴立德教授，他对深度学习的独到见解和深入浅出的讲授，使得我对深度学习有了更深层次的认识，也感谢复旦大学计算机学院的黄萱菁教授和薛向阳教授的支持和帮助．本书在写作时将书稿放在网络上，也得到很多网友的帮助，特别感谢王利锋、林同茂、张钧瑞、李浩、胡可鑫、韦鹏辉、徐国海、侯宇蓬、任强、王少敬、肖耀、李鹏等人指出了本书初稿的错误或提出了富有建设性的意见．此外，本书在写作过程中参考了互联网上大量的优秀资料，如维基百科、知乎、Quora等网站．
　　另外，我也特别感谢我的家人．本书的写作占用了大量的业余时间，没有家人的理解和支持，这本书不可能完成．
　　最后，因为个人能力有限，书中难免有不当和错误之处，还望读者海涵和指正，不胜感激．
　　邱锡鹏
　　于上海 复旦大学
　　2020年3月31日
　　

.　　本书是深度学习领域的入门教材，系统地整理了深度学习的知识体系，并由浅入深地阐述了深度学习的原理、模型以及方法，使得读者能全面地掌握深度学习的相关知识，并提高以深度学习技术来解决实际问题的能力。
　　全书共15章，分为三个部分。第一部分为机器学习基础：第1章是绪论，介绍人工智能、机器学习、深度学习的概要，使读者全面了解相关知识；第2~3章介绍机器学习的基础知识。第二部分是基础模型：第4～6章分别讲述三种主要的神经网络模型：前馈神经网络、卷积神经网络和循环神经网络；第7章介绍神经网络的优化与正则化方法；第8章介绍神经网络中的注意力机制和外部记忆；第9章简要介绍一些无监督学习方法；第10章介绍一些模型独立的机器学习方法，包括集成学习、自训练、协同训练、多任务学习、迁移学习、终身学习、元学习等。第三部分是进阶模型：第11章介绍概率图模型的基本概念，为后面的章节进行铺垫；第12章介绍两种早期的深度学习模型：玻尔兹曼机和深度信念网络；第13章介绍深度生成模型，包括变分自编码器和生成对抗网络；第14章介绍深度强化学习；第15章介绍应用十分广泛的序列生成模型。
　　本书可作为高等院校人工智能、计算机、自动化、电子和通信等相关专业的研究生或本科生教材，也可供相关领域的研究人员和工程技术人员参考。
　　本书还配备了教学PPT、编程练习以及课后习题的讨论，参见网址：https://nndl.github.io/。