基本信息
【插图】
编辑推荐
本书系统介绍对抗样本的基本原理，从相关的背景知识开始，包含搭建学习对抗样本的软硬件环境、常用工具，带领读者快速上手实践。本书作者在安全领域有多年实践经验，对业界常见的方法做了系统的归纳总结，包含大量案例，深入浅出，实践性强。本书所有示例代码在GitHub上可以下载:https://github.com/duoergun0729/adversarial_examples
主要内容包括：
·对抗样本相关的深度学习背景知识，如梯度、优化器、反向传递等。
·如何搭建学习对抗样本的软硬件环境。
·对抗样本领域的一些常见图像处理技巧。
·常见的白盒攻击算法与黑盒攻击算法。
·对抗样本在目标检测领域的应用。
·对抗样本的常见加固算法。
·常见的对抗样本工具以及如何搭建NIPS对抗样本竞赛环境。
·如何站在巨人的肩膀上，快速生成自己的对抗样本，进行攻防对抗
作译者
兜哥，百度安全实验室AI模型安全负责人，具有10余年安全从业经历，曾任百度基础架构安全负责人、Web安全产品线负责人。主要研究方向为对抗样本、生成对抗网络。著有AI安全畅销书籍《Web安全之机器学习入门》《Web安全之深度学习实战》《Web安全之强化学习与GAN》。著名开源AI安全工具箱AdvBox的作者，FreeBuf、雷锋网、安全客特邀专栏作家，知名安全自媒体“兜哥带你学安全”主编。
目录
对本书的赞誉
序一
序二
自序
前言
第1章 深度学习基础知识 1
1.1 深度学习的基本过程及相关概念 1
1.1.1 数据预处理 1
1.1.2 定义网络结构 2
1.1.3 定义损失函数 6
1.1.4 反向传递与优化器 7
1.1.5 范数 12
1.2 传统的图像分类算法 13
1.3 基于CNN的图像分类 14
1.3.1 局部连接 14
1.3.2 参数共享 15
1.3.3 池化 17
1.3.4 典型的CNN结构 18
1.3.5 AlexNet的结构 19
1.3.6 VGG的结构 19
序一
序二
自序
前言
第1章 深度学习基础知识 1
1.1 深度学习的基本过程及相关概念 1
1.1.1 数据预处理 1
1.1.2 定义网络结构 2
1.1.3 定义损失函数 6
1.1.4 反向传递与优化器 7
1.1.5 范数 12
1.2 传统的图像分类算法 13
1.3 基于CNN的图像分类 14
1.3.1 局部连接 14
1.3.2 参数共享 15
1.3.3 池化 17
1.3.4 典型的CNN结构 18
1.3.5 AlexNet的结构 19
1.3.6 VGG的结构 19
前言
前言
生活中的深度学习
深度学习自2006年产生之后就受到科研机构、工业界的高度关注。最初，深度学习主要用于图像和语音领域。从2011年开始，谷歌研究院和微软研究院的研究人员先后将深度学习应用到语音识别，使识别错误率下降了20%～30%。2012年6月，谷歌首席架构师Jeff
Dean和斯坦福大学教授Andrew
Ng主导著名的Google
Brain项目，采用16万个CPU来构建一个深层神经网络，并将其应用于图像和语音的识别，最终大获成功。
2016年3月，AlphaGo与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜；2016年年末2017年年初，该程序在中国棋类网站上以“大师”（Master）为注册账号与中日韩数十位围棋高手进行快棋对决，连续60局无一败绩；2017年5月，在中国乌镇围棋峰会上，它与排名世界第一的围棋世界冠军柯洁对战，以3比0的总比分获胜。AlphaGo的成功更是把深度学习的热潮推向了全球，成为男女老少茶余饭后关注的热点话题。
现在，深度学习已经遍地开花，在方方面面影响和改变着人们的生活，比较典型的应用包括智能家居、智能驾驶、人脸支付和智能安防。
深度学习的脆弱性
深度学习作为一个非常复杂的软件系统，同样会面对各种黑客攻击。黑客通过攻击深度学习系统，也可以威胁到财产安全、个人隐私、交通安全和公共安全（见图0-1）。针对深度学习系统的攻击，通常包括以下几种。
1. 偷取模型
各大公司通过高薪聘请AI专家设计模型，花费大量资金、人力搜集训练数据，又花费大量资金购买GPU设备用于训练模型，最后得到深度学习模型。深度学习模型的最终形式也就是从几百KB到几百MB不等的一个模型文件。深度学习模型对外提供服务的形式也主要分为云模式的API，或者私有部署到用户的移动设备或数据中心的服务器上。针对云模式的API，黑客通过一定的遍历算法，在调用云模式的API后，可以在本地还原出一个与原始模型功能相同或者类似的模型；针对私有部署到用户的移动设备或数据中心的服务器上，黑客通过逆向等传统安全技术，可以把模型文件直接还原出来供其使用。偷取深度学习模型的过程如图0-2所示。
2. 数据投毒
针对深度学习的数据投毒主要是指向深度学习的训练样本中加入异常数据，导致模型在遇到某些条件时会产生分类错误。如图0-3所示。早期的数据投毒都存在于实验室环境，假设可以通过在离线训练数据中添加精心构造的异常数据进行攻击。这一攻击方式需要接触到模型的训练数据，而在实际环境中，绝大多数情况都是公司内部在离线数据中训练好模型再打包对外发布服务，攻击者难以接触到训练数据，攻击难以发生。于是攻击者把重点放到了在线学习的场景，即模型是利用在线的数据，几乎是实时学习的，比较典型的场景就是推荐系统。推荐系统会结合用户的历史数据以及实时的访问数据，共同进行学习和判断，最终得到推荐结果。黑客正是利用这一可以接触到训练数据的机会，通过一定的算法策略，发起访问行为，最终导致推荐系统产生错误。
3. 对抗样本
对抗样本由Christian Szegedy等人提出，是指在数据集中通过故意添加细微的干扰所形成的输入样本，这种样本导致模型以高置信度给出一个错误的输出。在正则化背景下，通过对抗训练减少原有独立同分布的测试集的错误率，在对抗扰动的训练集样本上训练网络。
简单地讲，对抗样本通过在原始数据上叠加精心构造的人类难以察觉的扰动，使深度学习模型产生分类错误。以图像分类模型为例，如图0-4所示，通过在原始图像上叠加扰动，对于肉眼来说，扰动非常细微，图像看起来还是熊猫，但是图像分类模型却会以很大的概率识别为长臂猿。
下面以一个图像分类模型为例，更加直接地解释对抗样本的基本原理。通过在训练样本上学习，学到一个分割平面，在分割平面一侧的为绿球，在分割平面另外一侧的为红球。生成攻击样本的过程，就是在数据上添加一定的扰动，让其跨越分割平面，从而把分割平面一侧的红球识别为绿球，如图0-5所示。
对抗样本按照攻击后的效果分为Targeted Attack（定性攻击）和Non-Targeted Attack（无定向攻击）。区别在于Targeted Attack在攻击前会设置攻击的目标，比如把红球识别为绿球，或者把面包识别为熊猫，也就是说在攻击后的效果是确定的；Non-Targeted Attack在攻击前不用设置攻击目标，只要攻击后，识别的结果发生改变即可，可能会把面包识别为熊猫，也可能识别为小猪佩琪或者小猪乔治，如图0-6所示。
对抗样本按照攻击成本分为White-Box Attack（白盒攻击）、Black-Box Attack（黑盒攻击）和Real-World Attack/Physical Attack（真实世界/物理攻击）。
生活中的深度学习
深度学习自2006年产生之后就受到科研机构、工业界的高度关注。最初，深度学习主要用于图像和语音领域。从2011年开始，谷歌研究院和微软研究院的研究人员先后将深度学习应用到语音识别，使识别错误率下降了20%～30%。2012年6月，谷歌首席架构师Jeff
Dean和斯坦福大学教授Andrew
Ng主导著名的Google
Brain项目，采用16万个CPU来构建一个深层神经网络，并将其应用于图像和语音的识别，最终大获成功。
2016年3月，AlphaGo与围棋世界冠军、职业九段棋手李世石进行围棋人机大战，以4比1的总比分获胜；2016年年末2017年年初，该程序在中国棋类网站上以“大师”（Master）为注册账号与中日韩数十位围棋高手进行快棋对决，连续60局无一败绩；2017年5月，在中国乌镇围棋峰会上，它与排名世界第一的围棋世界冠军柯洁对战，以3比0的总比分获胜。AlphaGo的成功更是把深度学习的热潮推向了全球，成为男女老少茶余饭后关注的热点话题。
现在，深度学习已经遍地开花，在方方面面影响和改变着人们的生活，比较典型的应用包括智能家居、智能驾驶、人脸支付和智能安防。
深度学习的脆弱性
深度学习作为一个非常复杂的软件系统，同样会面对各种黑客攻击。黑客通过攻击深度学习系统，也可以威胁到财产安全、个人隐私、交通安全和公共安全（见图0-1）。针对深度学习系统的攻击，通常包括以下几种。
1. 偷取模型
各大公司通过高薪聘请AI专家设计模型，花费大量资金、人力搜集训练数据，又花费大量资金购买GPU设备用于训练模型，最后得到深度学习模型。深度学习模型的最终形式也就是从几百KB到几百MB不等的一个模型文件。深度学习模型对外提供服务的形式也主要分为云模式的API，或者私有部署到用户的移动设备或数据中心的服务器上。针对云模式的API，黑客通过一定的遍历算法，在调用云模式的API后，可以在本地还原出一个与原始模型功能相同或者类似的模型；针对私有部署到用户的移动设备或数据中心的服务器上，黑客通过逆向等传统安全技术，可以把模型文件直接还原出来供其使用。偷取深度学习模型的过程如图0-2所示。
2. 数据投毒
针对深度学习的数据投毒主要是指向深度学习的训练样本中加入异常数据，导致模型在遇到某些条件时会产生分类错误。如图0-3所示。早期的数据投毒都存在于实验室环境，假设可以通过在离线训练数据中添加精心构造的异常数据进行攻击。这一攻击方式需要接触到模型的训练数据，而在实际环境中，绝大多数情况都是公司内部在离线数据中训练好模型再打包对外发布服务，攻击者难以接触到训练数据，攻击难以发生。于是攻击者把重点放到了在线学习的场景，即模型是利用在线的数据，几乎是实时学习的，比较典型的场景就是推荐系统。推荐系统会结合用户的历史数据以及实时的访问数据，共同进行学习和判断，最终得到推荐结果。黑客正是利用这一可以接触到训练数据的机会，通过一定的算法策略，发起访问行为，最终导致推荐系统产生错误。
3. 对抗样本
对抗样本由Christian Szegedy等人提出，是指在数据集中通过故意添加细微的干扰所形成的输入样本，这种样本导致模型以高置信度给出一个错误的输出。在正则化背景下，通过对抗训练减少原有独立同分布的测试集的错误率，在对抗扰动的训练集样本上训练网络。
简单地讲，对抗样本通过在原始数据上叠加精心构造的人类难以察觉的扰动，使深度学习模型产生分类错误。以图像分类模型为例，如图0-4所示，通过在原始图像上叠加扰动，对于肉眼来说，扰动非常细微，图像看起来还是熊猫，但是图像分类模型却会以很大的概率识别为长臂猿。
下面以一个图像分类模型为例，更加直接地解释对抗样本的基本原理。通过在训练样本上学习，学到一个分割平面，在分割平面一侧的为绿球，在分割平面另外一侧的为红球。生成攻击样本的过程，就是在数据上添加一定的扰动，让其跨越分割平面，从而把分割平面一侧的红球识别为绿球，如图0-5所示。
对抗样本按照攻击后的效果分为Targeted Attack（定性攻击）和Non-Targeted Attack（无定向攻击）。区别在于Targeted Attack在攻击前会设置攻击的目标，比如把红球识别为绿球，或者把面包识别为熊猫，也就是说在攻击后的效果是确定的；Non-Targeted Attack在攻击前不用设置攻击目标，只要攻击后，识别的结果发生改变即可，可能会把面包识别为熊猫，也可能识别为小猪佩琪或者小猪乔治，如图0-6所示。
对抗样本按照攻击成本分为White-Box Attack（白盒攻击）、Black-Box Attack（黑盒攻击）和Real-World Attack/Physical Attack（真实世界/物理攻击）。
媒体评论
机器学习在安全领域的应用越来越广泛，特别是近几年来，深度学习在安全漏洞检测、Web应用防火墙、病毒检测等领域都有工业级的落地应用；但是黑客和黑产相应的入侵手法也发生了变化，其中一个手段就是从之前尝试绕过深度学习模型，变为攻击深度学习模型本身。兜哥在人工智能安全领域的实战和学术造诣深厚，本书从深度学习自身的脆弱性和遭受的一些攻击场景入手，讨论了如何加固深度学习模型和防范类似的攻击，对企业的安全工程师和从事安全人工智能的同仁，都有很好的指导和借鉴意义。
—施亮，顶象技术首席科学家 合伙人
人工智能已经被证明在越来越多的细分领域达到甚至超过了人类的平均水平，中国、美国、俄罗斯等许多国家也把发展人工智能提升到国家战略层面。人们在大力发展人工智能的同时，对于人工智能自身的安全问题的研究却相对滞后，这将严重制约其在重要领域的应用。兜哥的这本书很好地介绍了AI安全领域非常基础且重要的对抗样本的基本原理，帮助大家了解人工智能自身的安全问题，以便开发出更加安全的AI应用。
—胡影博士，中国电子技术研究院信息安全研究中心数据安全部主任机器学习在安全领域的应用越来越广泛，特别是近几年来，深度学习在安全漏洞检测、Web应用防火墙、病毒检测等领域都有工业级的落地应用；但是黑客和黑产相应的入侵手法也发生了变化，其中一个手段就是从之前尝试绕过深度学习模型，变为攻击深度学习模型本身。兜哥在人工智能安全领域的实战和学术造诣深厚，本书从深度学习自身的脆弱性和遭受的一些攻击场景入手，讨论了如何加固深度学习模型和防范类似的攻击，对企业的安全工程师和从事安全人工智能的同仁，都有很好的指导和借鉴意义。
—施亮，顶象技术首席科学家&合伙人
人工智能已经被证明在越来越多的细分领域达到甚至超过了人类的平均水平，中国、美国、俄罗斯等许多国家也把发展人工智能提升到国家战略层面。人们在大力发展人工智能的同时，对于人工智能自身的安全问题的研究却相对滞后，这将严重制约其在重要领域的应用。兜哥的这本书很好地介绍了AI安全领域非常基础且重要的对抗样本的基本原理，帮助大家了解人工智能自身的安全问题，以便开发出更加安全的AI应用。
—胡影博士，中国电子技术研究院信息安全研究中心数据安全部主任
认识兜哥是从他的著作《企业安全建设入门》开始，在传统行业基于稳定性不断对商业软件进行深度改造时，他描述了互联网如何将开源用到了输出阶段。当传统安全遇到ABCD的时候，兜哥选择沉下来做AI工程师并分享了大数据实践下的核心对抗样本调参思路，为他的工匠精神和分享精神点赞。
—吕毅博士，中国人民银行金融信息中心信息安全部副主任
本书结合了作者在安全领域的多年实践经验，对对抗样本分析所面临的挑战进行了系统阐述，对业界常见的方式方法做了系统的归纳总结，有其独到的见解和主张。与其他机器学习系列丛书中的内容不同，本书针对的对象是人工智能本身，从对抗样本这一维度入手，深入浅出地叙述了对抗样本的基本原理、攻击方式和常见防御算法等内容。本书对信息安全和人工智能的从业者来说，都具有一流的参考价值。
—王亿韬，北美互联网金融公司Affirm信息安全主管，CISSP/CSSLP/OSCP
作者的系列书—AI安全三部曲，去年我已一一拜读，每本书都深入浅出，层层递进，读后大呼过瘾。前时应兜哥之邀为本书写荐语，欣然应允，不料今年工作繁忙拖了很久，甚为汗颜。近期终能挤出时间仔细研读。本书秉承兜哥的一贯风格，虽然锚定的是非常前沿的课题，仔细去看，依旧浅显易懂，分攻防两端，递进列举各类算法，并暖心提供基于不同AI框架的实现和评估。大巧若拙，递进的脉络在读者脑中自然形成，读后必然深受启发。我在此感谢兜哥勤奋执笔，又让我有先阅之乐。
—王新刚，北美安全公司Shape Security数据平台负责人
—施亮，顶象技术首席科学家 合伙人
人工智能已经被证明在越来越多的细分领域达到甚至超过了人类的平均水平，中国、美国、俄罗斯等许多国家也把发展人工智能提升到国家战略层面。人们在大力发展人工智能的同时，对于人工智能自身的安全问题的研究却相对滞后，这将严重制约其在重要领域的应用。兜哥的这本书很好地介绍了AI安全领域非常基础且重要的对抗样本的基本原理，帮助大家了解人工智能自身的安全问题，以便开发出更加安全的AI应用。
—胡影博士，中国电子技术研究院信息安全研究中心数据安全部主任机器学习在安全领域的应用越来越广泛，特别是近几年来，深度学习在安全漏洞检测、Web应用防火墙、病毒检测等领域都有工业级的落地应用；但是黑客和黑产相应的入侵手法也发生了变化，其中一个手段就是从之前尝试绕过深度学习模型，变为攻击深度学习模型本身。兜哥在人工智能安全领域的实战和学术造诣深厚，本书从深度学习自身的脆弱性和遭受的一些攻击场景入手，讨论了如何加固深度学习模型和防范类似的攻击，对企业的安全工程师和从事安全人工智能的同仁，都有很好的指导和借鉴意义。
—施亮，顶象技术首席科学家&合伙人
人工智能已经被证明在越来越多的细分领域达到甚至超过了人类的平均水平，中国、美国、俄罗斯等许多国家也把发展人工智能提升到国家战略层面。人们在大力发展人工智能的同时，对于人工智能自身的安全问题的研究却相对滞后，这将严重制约其在重要领域的应用。兜哥的这本书很好地介绍了AI安全领域非常基础且重要的对抗样本的基本原理，帮助大家了解人工智能自身的安全问题，以便开发出更加安全的AI应用。
—胡影博士，中国电子技术研究院信息安全研究中心数据安全部主任
认识兜哥是从他的著作《企业安全建设入门》开始，在传统行业基于稳定性不断对商业软件进行深度改造时，他描述了互联网如何将开源用到了输出阶段。当传统安全遇到ABCD的时候，兜哥选择沉下来做AI工程师并分享了大数据实践下的核心对抗样本调参思路，为他的工匠精神和分享精神点赞。
—吕毅博士，中国人民银行金融信息中心信息安全部副主任
本书结合了作者在安全领域的多年实践经验，对对抗样本分析所面临的挑战进行了系统阐述，对业界常见的方式方法做了系统的归纳总结，有其独到的见解和主张。与其他机器学习系列丛书中的内容不同，本书针对的对象是人工智能本身，从对抗样本这一维度入手，深入浅出地叙述了对抗样本的基本原理、攻击方式和常见防御算法等内容。本书对信息安全和人工智能的从业者来说，都具有一流的参考价值。
—王亿韬，北美互联网金融公司Affirm信息安全主管，CISSP/CSSLP/OSCP
作者的系列书—AI安全三部曲，去年我已一一拜读，每本书都深入浅出，层层递进，读后大呼过瘾。前时应兜哥之邀为本书写荐语，欣然应允，不料今年工作繁忙拖了很久，甚为汗颜。近期终能挤出时间仔细研读。本书秉承兜哥的一贯风格，虽然锚定的是非常前沿的课题，仔细去看，依旧浅显易懂，分攻防两端，递进列举各类算法，并暖心提供基于不同AI框架的实现和评估。大巧若拙，递进的脉络在读者脑中自然形成，读后必然深受启发。我在此感谢兜哥勤奋执笔，又让我有先阅之乐。
—王新刚，北美安全公司Shape Security数据平台负责人
