[套装书]Java人工神经网络构建+深入浅出图神经网络：GNN原理解析（2册）

.

2.9　函数导数与函数发散 11
2.10　最常用的函数导数 12
2.11　本章小结 13
第3章　人工神经网络处理 14
3.1　示例1：单点函数的手动逼近 14
3.2　构建神经网络 15
3.3　前向传递计算 16
3.3.1　隐藏层 16
3.3.2　输出层 17
3.4　反向传递计算 18
3.4.1　计算输出层神经元的权值调整 18
3.4.2　计算隐藏层神经元的权值调整 20
3.5　更新网络偏差 24
3.6　回到前向传递 25
3.6.1　隐藏层 25
3.6.2　输出层 26
3.7　网络计算的矩阵形式 28
3.8　深入调查 28
3.9　小批次与随机梯度 30
3.10　本章小结 30
第4章　配置开发环境 31
4.1　在Windows计算机上安装
Java 11环境 31
4.2　安装NetBeans IDE 33
4.3　安装Encog Java框架 34
4.4　安装XChart包 34
4.5　本章小结 35
第5章　使用Java Encog框架开发神经网络 36
5.1　示例2：使用Java环境进行函数逼近 36
5.2　网络架构 37
5.3　规范化输入数据集 38
5.4　构建规范化两个数据集的Java程序 38
5.5　构建神经网络处理程序 45
5.6　程序代码 50
5.7　调试和执行程序 66
5.8　训练方法的处理结果 66
5.9　测试网络 67
5.10　测试结果 70
5.11　深入调查 71
5.12　本章小结 72
第6章　训练范围外的神经网络预测 73
6.1　示例3a：逼近训练范围以外的周期函数 73
6.1.1　示例3a的网络架构 76
6.1.2　示例3a的程序代码 76
6.1.3　测试网络 89
6.2　示例3b：逼近训练范围以外的周期函数的正确方法 90
6.2.1　准备训练数据 90
6.2.2　示例3b的网络架构 92
6.2.3　示例3b的程序代码 93
6.2.4　示例3b的训练结果 109
6.2.5　示例3b的测试结果 110
6.3　本章小结 110
第7章　复杂周期函数的处理 112
7.1　示例4：复杂周期函数的逼近 112
7.2　数据准备 114
7.3　反映数据中的函数拓扑 115
7.4　程序代码 120
7.5　训练网络 137
7.6　测试网络 138
7.7　深入调查 140
7.8　本章小结 141
第8章　非连续函数的处理 142
8.1　示例5：非连续函数的逼近 142
8.2　程序代码 145
8.3　训练效果不理想 157
8.4　用微批次方法逼近非连续函数 159
8.5　微批次处理程序代码 160
8.5.1　getChart()方法的程序代码 176
8.5.2　训练方法的代码片段1 179
8.5.3　训练方法的代码片段2 180
8.6　微批次方法的训练结果 184
8.7　测试处理逻辑 188
8.8　微批次方法的测试结果 191
8.9　深入调查 192
8.10　本章小结 196
第9章　具有复杂拓扑的连续函数的处理 197
9.1　示例5a：使用传统的网络过程逼近具有复杂拓扑的连续函数 197
9.1.1　示例5a的网络架构 198
9.1.2　示例5a的程序代码 199
9.1.3　示例5a的训练处理结果 208
9.2　用微批次方法逼近具有复杂拓扑的连续函数 211
9.3　示例5b：螺旋函数的逼近 232
9.3.1　示例5b的网络架构 234
9.3.2　示例5b的程序代码 235
9.4　用微批次方法逼近同一函数 246
9.5　本章小结 267
第10章　用神经网络对对象进行分类 268
10.1　示例6：记录分类 268
10.2　训练数据集 269
10.3　网络架构 271
10.4　测试数据集 272
10.5　数据规范化程序代码 273
10.6　分类程序代码 277
10.7　训练结果 297
10.8　测试结果 304
10.9　本章小结 305
第11章　选择正确模型的重要性 306
11.1　示例7：预测下个月的股市价格 306
11.2　在数据集中包含函数拓扑 311
11.3　生成微批次文件 312
11.4　网络架构 316
11.5　程序代码 317
11.6　训练过程 341
11.7　训练结果 342
11.8　测试数据集 347
11.9　测试逻辑 351
11.10　测试结果 358
11.11　分析测试结果 360
11.12　本章小结 361
第12章　三维空间中的函数逼近处理 362
12.1　示例8：三维空间中函数的逼近 362
12.1.1　数据准备 363
12.1.2　网络架构 364
12.2　程序代码 365
12.3　本章小结 380



---------------------------深入浅出图神经网络：GNN原理解析---------------------------


前言
第1章　图的概述 1
1.1　图的基本定义 1
1.1.1　图的基本类型 2
1.1.2　邻居和度 4
1.1.3　子图与路径 4
1.2　图的存储与遍历 5
1.2.1　邻接矩阵与关联矩阵 5
1.2.2　图的遍历 6
1.3　图数据的应用场景 7
1.4　图数据深度学习 10
1.5　参考文献 13
第2章　神经网络基础 17
2.1　机器学习基本概念 17
2.1.1　机器学习分类 17
2.1.2　机器学习流程概述 18
2.1.3　常见的损失函数 21
2.1.4　梯度下降算法 23
2.2　神经网络 25
2.2.1　神经元 25
2.2.2　多层感知器 27
2.3　激活函数 29
2.3.1　S型激活函数 30
2.3.2　ReLU及其变种 30
2.4　训练神经网络 33
2.4.1　神经网络的运行过程 34
2.4.2　反向传播 34
2.4.3　优化困境 36
2.5　参考文献 38
第3章　卷积神经网络 39
3.1　卷积与池化 39
3.1.1　信号处理中的卷积 39
3.1.2　深度学习中的卷积操作 42
3.1.3　池化 46
3.2　卷积神经网络 46
3.2.1　卷积神经网络的结构 47
3.2.2　卷积神经网络的特点 49
3.3　特殊的卷积形式 51
3.3.1　1×1卷积 51
3.3.2　转置卷积 52
3.3.3　空洞卷积 54
3.3.4　分组卷积 55
3.3.5　深度可分离卷积 55
3.4　卷积网络在图像分类中的应用 56
3.4.1　VGG 56
3.4.2　Inception系列 57
3.4.3　ResNet 60
3.5　参考文献 62
第4章　表示学习 65
4.1　表示学习 65
4.1.1　表示学习的意义 65
4.1.2　离散表示与分布式表示 66
4.1.3　端到端学习是一种强大的表示学习方法 68
4.2　基于重构损失的方法—自编码器 69
4.2.1　自编码器 69
4.2.2　正则自编码器 71
4.2.3　变分自编码器 72
4.3　基于对比损失的方法—Word2vec 75
4.4　参考文献 79
第5章　图信号处理与图卷积神经网络 81
5.1　矩阵乘法的三种方式 81
5.2　图信号与图的拉普拉斯矩阵 83
5.3　图傅里叶变换 85
5.4　图滤波器 90
5.4.1　空域角度 93
5.4.2　频域角度 94
5.5　图卷积神经网络 96
5.6　GCN实战 101
5.7　参考文献 109
第6章　GCN的性质 111
6.1　GCN与CNN的联系 111
6.2　GCN能够对图数据进行端对端学习 115
6.3　GCN是一个低通滤波器 120
6.4　GCN的问题—过平滑 122
6.5　参考文献 127
第7章　GNN的变体与框架 129
7.1　GraphSAGE 129
7.1.1　采样邻居 130
7.1.2　聚合邻居 131
7.1.3　GraphSAGE算法过程 132
7.2　GAT 134
7.2.1　注意力机制 134
7.2.2　图注意力层 137
7.2.3　多头图注意力层 138
7.3　R-GCN 140
7.3.1　知识图谱 140
7.3.2　R-GCN 141
7.4　GNN的通用框架 143
7.4.1　MPNN 143
7.4.2　NLNN 146
7.4.3　GN 147
7.5　GraphSAGE实战 148
7.6　参考文献 153
第8章　图分类 155
8.1　基于全局池化的图分类 155
8.2　基于层次化池化的图分类 156
8.2.1　基于图坍缩的池化机制 157
8.2.2　基于TopK的池化机制 165
8.2.3　基于边收缩的池化机制 168
8.3　图分类实战 169
8.4　参考文献 177
第9章　基于GNN的图表示学习 179
9.1　图表示学习 180
9.2　基于GNN的图表示学习 182
9.2.1　基于重构损失的GNN 183
9.2.2　基于对比损失的GNN 184
9.3　基于图自编码器的推荐系统 188
9.4　参考文献 195
第10章　GNN的应用简介 197
10.1　GNN的应用简述 197
10.2　GNN的应用案例 199
10.2.1　3D视觉 199
10.2.2　基于社交网络的推荐系统 203
10.2.3　视觉推理 205
10.3　GNN的未来展望 208
10.4　参考文献 209
附录A　符号声明 211

.　　本书是为那些有兴趣在Java环境中学习神经网络编程的专业开发人员编写的，同时也适合经验丰富的人工智能开发人员阅读—他们会发现与开发更复杂的神经网络应用程序有关的更前沿的主题和技巧。本书还包括我的最新研究—非连续函数和具有复杂拓扑的连续函数的神经网络逼近。
　　致谢
　　感谢Apress及其优秀的编辑团队，以及技术评审者，感谢他们为本书的出版所做的贡献。
　　
　　
　　---------------------------深入浅出图神经网络：GNN原理解析---------------------------
　　
　　
　　为何写作本书
　　近年来，作为一项新兴的图数据学习技术，图神经网络（GNN）受到了非常广泛的关注。2018年年末，发生了一件十分有趣的事情，该领域同时发表了三篇综述类型论文，这种“不约而同”体现了学术界对该项技术的认可。事实上，在2019年的各大顶级学术会议上，与图神经网络有关的论文也占据了相当可观的份额。相信在未来几年，这种流行的趋势会只增不减。
　　图神经网络技术的出现有其必然性和重要性。在深度神经网络技术兴起的前几年，图像、语音、文本等形式的数据都能在深度学习中被很好地应用，并获得了十分好的效果。这促使大量的相关应用进入了实用阶段，如人脸识别、语音助手、机器翻译等。尽管如此，深度学习一直无法很好地对另一类形式的数据—图数据（或称网络数据）进行有效的适配。作为一类主要用来描述关系的通用数据表示方法，图数据在产业界有着更加广阔的应用场景，在诸如社交网络、电子购物、物联网、生物制药等场景中，都可以找到图数据的影子。将深度学习技术的成功经验迁移到图数据的学习中来，是一种十分自然且必要的需求。
　　在这样的背景下，图神经网络的出现很好地填补了上述技术空白，实现了图数据与深度学习技术的有效结合，使得深度学习能够在图数据的相关应用场景中继续攻城略地。事实上，纵观这三年，图神经网络技术的相关应用和研究已经拓展到了极其广泛的领域，从视觉推理到开放的阅读理解问题，从药物分子的研发到5G芯片的设计，从交通流量预测到3D点云数据的学习，该项技术都展示出了极其重要且极具渗透性的应用能力，这种能力必将给产业界带来极高的应用价值。
　　笔者所在公司极验在业务风控的应用场景中，长期奋战在网络攻防对抗的前线，在这样的背景下，不管是主动还是被动，都促使我们不断努力提升数据分析与数据建模的能力，一直以来，我们都期望有一套端对端的模型来高效学习数据中的关系或结构化信息。极验在2017年年中与图神经网络技术结缘，正好提供了这样的契机，在对该项技术进行多番论证并上线到极验的实际业务中后，取得了超出预期的效果，这极大提升了我们对该项技术的热情。同时，为了更好地对这项新技术进行讨论和学习，我们组织了相应的学习社群，大家都表现出了高昂的热情，这份热情激励笔者将更多精力投入到该项技术上，也正因如此，写一本关于图神经网络的书籍的想法应运而生。期望通过本书，让读者朋友对该项技术的来龙去脉有更清晰、全面的认识。如果能产生更大的知识分享成果，那么本书的价值就更高了，这将是对我们的最好回报。
　　本书读者对象
　　想学习并初步实践图神经网络技术的读者
　　想较系统且深入理解图神经网络技术的读者
　　本书主要内容
　　本书分为三大部分：
　　第一部分为基础篇，包括第1～4章，其中第1章由笔者撰写，第2～4章由李彦霖撰写。主要介绍学习图神经网络所需的基础知识，包括图的基本概念、卷积神经网络以及表示学习，帮助初学者更加清晰地认识到图神经网络技术与深度学习技术是一脉相承的。
　　第二部分为高级篇，包括第5～9章。这部分是本书的重点，主要讲解图卷积神经网络的理论基础和性质、图神经网络的各种变体和框架范式、图分类以及基于GNN的图表示学习。该部分的各章节都有相关的实践案例，为读者规划了完整的从理论到实践的学习路线，帮助读者系统全面地学习图神经网络。这部分有两位作者，理论部分由笔者撰写，实践案例的代码由李彦霖提供。
　　第三部分为应用篇，即第10章，主要介绍了图神经网络目前的一些应用。图神经网络的应用非常广泛，现实应用场景非常多，但鉴于本书的规划，这里只是略着笔墨，旨在抛砖引玉，让读者对应用场景有一定的认知。这部分由周洋撰写。
　　最后，每个章节都附有相关的参考文献。
　　本书特色
　　本书有如下特色：
　　（1）详细阐述了图卷积模型的由来，以及什么是频域图卷积和空域图卷积，这是很多初学者学习该技术的第一只“拦路虎”；
　　（2）集中阐述了图卷积模型的性质，这些性质的解读对读者深入地理解图神经网络技术有着重要的作用；
　　（3）给出了关键部分的代码，希望能辅助读者清晰理解书中的一些公式里的变量的具体含义。
　　（4）本书为了帮助读者理解图神经网络的相关概念和技术，提供了很多示意图。
　　勘误和支持
　　由于作者的水平有限，编写时间仓促，书中难免会出现一些错误或者不准确的地方，恳请读者批评指正。如果你遇到任何问题，可以访问我们专门为本书创建的技术主页 https://github.com/FighterLYL/GraphNeuralNetwork，我们将尽量为读者提供满意的解答。如果你有更多宝贵的意见，也欢迎发送邮件至邮箱yfc@hzbook.com，期待能够得到你们的真挚反馈。
　　致谢
　　首先要感谢这个开放的时代，深度学习技术的爆发离不开产、学、研的紧密结合，在信息开放、知识分享的大背景下，我们每一个人都是其中的受益者。
　　感谢笔者所在公司极验科技，对本书的写作提供了大力支持，特别是同事谢永芬，完成了书稿所有章节的初排工作，为其中大量的公式和插图付出了许多精力。
　　感谢机械工业出版社华章公司的编辑杨福川和张锡鹏，在这段时间始终支持我们的写作，他们的耐心和专业引导我们顺利完成了撰写工作。
　　最后，感谢我的妻子，她理解并支持我这段时间的挑灯写作，家人的关怀是我前进的动力！
　　刘忠雨
　　

.　　图神经网络能对图数据进行端对端学习，在推理学习、半监督学习以及模型的可解释性等方面有着独特的优势，在图数据分析领域备受瞩目。本书扎实的理论知识将帮助读者打下坚实的基础，有针对性的实战应用能指导读者进行实操。仔细研读本书，一定会使GNN的学习事半功倍。
　　—— 白翔华中科技大学电信学院教授
　　虽然图神经网络的蓬勃发展还是最近几年的事，但它已经成功应用在适合用图表示的诸多领域，比如社交网络、知识系统、物联网等。本书作者结合自己在图神经网络领域多年的研发经历，系统地介绍了图表示、卷积网络和图神经网络（尤其是图卷积模型）的基本知识，并在此基础上阐述了图卷积模型的各种框架、变体、性质和应用。对于有兴趣了解图神经网络技术及其应用的读者，本书将会是一本有益的参考书。
　　—— 俞栋（博士）IEEE Fellow，腾讯公司杰出科学家、腾讯AI LAB副主任
　　深度学习时代，图计算与神经网络天然地结合到了一起，为人工智能的发展注入了新的动力，在学术界和企业界都有着极其广阔的发展前景。本书从理论与实践的双重维度对GNN进行了全面讲解，深入浅出。同时，书中还提供了实践案例和关键部分的PyTorch源码，方便读者动手实战，全方位地帮助读者掌握图神经网络的知识和技能。
　　—— 王彦博 龙盈智达首席数据科学家/剑桥大学计算机系访问学者
　　图神经网络将端到端的训练推理模式应用到了图数据上，突破了传统图像、语音等领域深度学习的知识边界。本书从图神经网络的基础出发，内容涵盖图神经网络的各种框架、变体以及实战案例和应用场景，是作者在图神经网络领域的耕耘成果和经验积累，也是读者全面而系统地学习GNN技术的不二之选。
　　—— 王健宗（博士）中国人工智能开源软件发展联盟副理事长/
　　深圳市金融智能机器人研究中心常务副主任/《深入理解AutoML和AutoDL》作者