基本信息

内容简介
计算机书籍
---------------------------对抗机器学习---------------------------
本书由机器学习安全领域的学者撰写,针对存在安全威胁的对抗性环境,讨论如何构建健壮的机器学习系统,全面涵盖所涉及的理论和工具。全书分为四部分,分别讨论对抗机器学习的基本概念、诱发型攻击、探索性攻击和未来发展方向。书中介绍了当前最实用的工具,你将学会利用它们来监测系统安全状态并进行数据分析,从而设计出有效的对策来应对新的网络攻击;详细讨论了隐私保护机制和分类器的近似最优规避,在关于垃圾邮件和网络安全的案例研究中,深入分析了传统机器学习算法为何会被成功击破;全面概述了该领域的最新技术以及未来可能的发展方向。本书适合机器学习、计算机安全、网络安全领域的研究人员、技术人员和学生阅读。
---------------------------机器学习:基于约束的方法---------------------------
本书从全新的视角诠释了机器学习的基本模型和算法,重点讨论了当前的两项研究热点——神经网络和核方法。全书紧紧围绕从环境约束中学习的概念,将符号知识库作为约束集合,通过采用多值逻辑形式的思想,实现了约束方法与机器学习的深度融合。特别是对深度学习的讲解,很好地呈现了本书中所遵循的基于约束的方法。此外,本书还提供不同难度等级的练习及参考答案,适合高等院校计算机相关专业的学生参考,也适合业界研究人员和技术人员阅读。
作译者
---------------------------对抗机器学习---------------------------
[美] 安东尼·D. 约瑟夫(Anthony D. Joseph) 布莱恩·尼尔森(Blaine Nelson) 本杰明·I. P. 鲁宾斯坦(Benjamin I. P. Rubinstein) J. D. 泰格(J. D. Tygar) 著:---作者简介---
安东尼·D. 约瑟夫(Anthony D. Joseph) 加州大学伯克利分校电气工程与计算机科学系教授,曾任伯克利Intel实验室主管。
布莱恩·尼尔森(Blaine Nelson) 谷歌公司CAT(Counter-Abuse Technology)团队软件工程师,曾任教于波茨坦大学和图宾根大学。
本杰明·I. P. 鲁宾斯坦(Benjamin I. P. Rubinstein) 墨尔本大学计算与信息系统系副教授,曾任职于微软研究院、谷歌研究院和IBM研究院等。
J. D. 泰格(J. D. Tygar) 加州大学伯克利分校教授,在计算机安全领域开展了广泛的研究工作。
---译者简介---
纪守领 浙江大学“百人计划”研究员、教授、博士生导师,现任信息安全系主任、网络空间安全研究中心主任助理。
---------------------------机器学习:基于约束的方法---------------------------
[意大利]马可·戈里(Marco Gori) 著:---作者简介---
目录
---------------------------对抗机器学习---------------------------
译者序
致谢
符号表
第一部分对抗机器学习概述
第1章引言
11动机
12安全学习的原则性方法
13安全学习年表
14本书内容概述
第2章背景知识及符号说明
21基本表示
22统计机器学习
221数据
222假设空间
前言
---------------------------机器学习:基于约束的方法---------------------------
机器学习代表我们在技术层面对理解人类智能本质的期望。因为在计算机这一领域机器学习无法被完全解释,因此它并不是对人类模式的一种巧妙的仿真。虽然深入了解神经科学的奥秘可能会激发出关于智能背后的计算智能的全新想法,但是现阶段大多数机器学习的进步都依赖根植于数学的模型和相应的计算机实现。尽管脑科学可能会继续朝着与人工计算方案结合的方向前进,但我们依然可以合理地推测,认知产生的基础不一定要在生物解决方案的惊人复杂性中进行探索,而主要是在更高层次的计算规律中探索。支持不同认知形式的生物学方案实际上与支持其他基本生命功能(如新陈代谢、生长、体重调节和压力反应)的平行需求密切相关。然而,无论这种复杂的环境如何,大多数类人类智能的过程都可能出现。人们可能会怀疑这些过程是基于信息认知规律的,而这些规律与生物学并无关系。有明确的证据证明在特定的认知任务中存在这种不变性,但是人工智能的挑战每天都在扩大这些任务的范围。虽然没有人会对数学和逻辑运算中的计算能力感到惊讶,但是外行并不十分清楚这些游戏上的挑战的结果。事实上,它们通常被认为是智能的独特标志。而且很明显的是,游戏已经由计算机程序开始主导。Sam Loyd 的15谜问题和魔方是计算机程序在解谜游戏中非常成功的例子。还有最近的国际象棋和围棋,在这些领域机器打破了人类智能的统治地位。不过,对于许多在语言、视觉和运动控制方面的认知能力,现阶段的机器学习仍然很难实现。
本书提供了一个统一的学科视图,该学科将环境建模为满足智能体期望的约束条件的集合,将读者带入机器学习的迷人领域。几乎所有在机器学习中面临的任务都可以在这个数学框架下建模。线性和线性阈值机、神经网络和核方法通常被认为是需要软性满足对应于训练集的一组逐点约束的自适应模型。在功能和经验形式中,经典的风险都可以看作软约束系统中最小化的惩罚函数。无监督学习可以给出类似的公式,其中惩罚函数在某种程度上提供了对数据概率分布的解释。基于信息的索引可用于提取无监督的特征,并且可以将它们明确地视为实施软约束的一种方式。然而,智能体可以从在某种逻辑形式主义中给出的抽象知识粒子中获益。虽然人工智能在知识表示和自动推理领域已经很成熟,但是根植于逻辑的基础理论导致模型不能与机器学习紧密结合。将符号知识库作为约束集合的同时,本书开辟了与机器学习深度融合的道路,这种机器学习依赖于采用多值逻辑形式的思想,如模糊系统。值得注意的是,深度学习非常适用于本书中所采用的基于约束的方法。最近深度学习在代表性问题和学习方面的一些基本成就,加上对并行计算的适当利用,已经为世界各地相关领域的高科技公司的发展创造了梦幻般的催化剂。在本书中我尽自己所能,在受约束的环境框架中揭示深度学习的力量及深度学习的解释。在这样做的过程中,我希望能够激发读者去学习适当的背景知识,以便能够快速掌握之后的创新。
在整本书中,我希望读者能够充分参与到这门学科中,以便形成自己的观点,而不仅仅是融入他人所提供的框架。本书为机器学习的基本模型和算法提供了一种令人耳目一新的方法,其中对约束的关注很好地模糊了有监督、无监督和半监督学习之间的经典差异。以下是本书的一些特点:
这是一本概述性的书籍,适合所有希望对基本概念有深入理解的读者。
本书旨在提出问题并帮助读者逐步学习基本方法,而不仅仅是提供“烹饪食谱”。
本书提出采用约束的概念,作为对现今最常见的机器学习方法的真正统一的处理方式,同时结合在AI社区中占主导地位的逻辑形式主义的力量。
根据 Donald Knuth 难度排名(略微修改),书中包含了很多练习题,并且提供了答案。
本书是为具有数学和计算机科学基础背景的读者准备的。更多更新的主题可参照附录。强烈建议读者用批判性的思维来阅读,并通过练习题来巩固相关概念。建议读者先独立完成这些题目,再查阅书后的“练习答案”。在撰写本书时,我的主要目标是让读者感受到和创造者一样的兴奋,并用这种方式来呈现概念和结果。读者不仅仅是被动阅读,还应该充分参与该学科并积极学习。如今,人们可以快速地学习基础知识,并开始部署常见的机器学习主题,这归功于有着精美插图和精彩模拟的网络资源。这些资源为想要进入该领域的人提供了便捷且有效的支持。这些网络资源爆炸性增长并且可以快速用于应用程序开发,因此一本关于机器学习的书很难与其竞争。但如果你想更深刻地理解该学科,那么必须将注意力转移到基础上,并将更多的时间花在可能适用于实际应用中的许多算法和技术解决方案的基本原则上。撰写本书的重要目标就是提出基本的思想,并提供一个统一的以基于信息的学习法则为中心的观点。本书雏形主要源自在锡耶纳大学的硕士和博士课程中收集的材料,之后用我自己在环境约束的统一概念下的可解释学习的观点逐渐丰富了它。考虑到网络资源如此充足,本书可以作为硕士生学习机器学习知识的教科书,也可以用于补充模式识别、数据挖掘和相关学科的课程。本书的某些部分更适合博士生的课程。另外,一些练习题实际上是对研究问题的认真选择,这些问题对博士生来说是一个挑战。虽然本书主要是为计算机专业的学生设计的,但其整体组织和主题的涵盖方式可能会激发物理和数学专业学生的兴趣。
在撰写本书的过程中,我不断受到激励,因为我对该领域的知识充满渴望,同时也不断面对以统一的方式审视和处理主要原则的挑战。我接触了该领域的大量文献,发现自己曾经忽略了不少非凡的想法和技术进展。我学到了很多,并在反复研究这些想法和成果的过程中感到欣喜。希望读者在阅读本书时能够体验到同样的感受。
致谢
我要感谢在编撰本书的过程中帮助过我的人。感谢所有以不同方式教导我如何找到事物内在原因与逻辑的人。很难将他们的名字列出一份清单,但是他们的教导的确让我越来越渴望理解人工智能并研究和设计智能机器,这份渴望就好比本书的种子。我所写的大部分内容都来自讲授机器学习的硕士和博士课程,以及在过去数十年中与锡耶纳大学人工智能实验室的同事和同学不断推敲的想法和讨论。与C Lee Giles、Ah Chung Tsoi、Paolo Frasconi和Alessandro Sperduti的许多有见地的讨论有助于改正我对循环神经网络的看法,例如本书中提出的扩散机。你可以发现我在本书中提到的关于约束学习的观点也已经逐渐被证明,这要感谢与Marcello Sanguineti、Giorgio Gnecco和Luciano Serafini的合作。对基准的批判,以及众包评价方案的建议,都要归功于Marcello Pelillo和Fabio Roli,他们与我合作组织了一些关于这个主题的项目。 我很感激Patrick Gallinari邀请我参加2016年夏天在巴黎第六大学举办的夏季研讨会,那里的环境极大地激励了我去撰写本书。我在研讨会的后续工作引发了实验室同事和学生的深刻讨论。与Stefan Knerr的合作极大地影响了我对机器学习在自然语言处理中的作用的看法。本书中涉及的大多数高级主题都得益于他对机器学习在会话代理中的作用的长期愿景。我还受益于Beatrice Lazzerini和Francesco Giannini对本书某些部分的准确检查和建议。
Alessandro Betti的贡献特别值得一提,他细致深入的阅读使这本书发生了翻天覆地的变化。他不仅发现了一些错误,而且还提出了替代演示文稿的一些建议,以及对基本概念的相关解释。本书中包含的许多以研究为导向的练习也经过了长时间的激烈讨论。最后,他对LATEX排版的建议和支持也非常有用。
感谢Lorenzo Menconi和Agnese Gori分别为封面和开篇章节提供的精美图片。最后,感谢Cecilia、Irene和Agnese在周末工作期间容忍了我随意的想法,以及他们对一个将笔记本电脑随时携带在身边的“半机械人”的容忍。
阅读指南
媒体评论
---------------------------对抗机器学习---------------------------
很多数据科学领域的工程师往往不知道,他们的自适应机器学习系统是多么容易遭到敌方或竞争对手的操纵和滥用。本书的核心是安全问题:不仅对各类攻击进行了详尽分析,而且包含大量对抗学习的案例;不仅复盘了现有的攻击方式,同时揭示了深度学习系统最近才呈现出的那些令人意想不到的漏洞。
——Richard Lippmann,麻省理工学院,林肯实验室
在安全问题日益受到关注的今天,本书的出版恰逢其时。机器学习已经无处不在,但要人们真正信任机器学习,就必须证明它有多可靠。
——Fabio Roli,意大利卡利亚里大学
---------------------------机器学习:基于约束的方法---------------------------
这本书非常有趣,从广义的视角对机器学习和深度学习进行了全新的解读,其中学习对应于满足约束条件,包括感知约束和符号约束,以及软约束和硬约束。
——Yoshua Bengio,蒙特利尔大学,图灵奖得主
机器学习是整个领域的真正动力,发展非常迅速,并且正在不断重塑当今的智能科学和工程。本书将带领你进入机器学习的迷人世界。
——Tomaso Poggio,麻省理工学院
本书从基于约束的视角讨论机器学习和深度学习,内容全面且新颖,相信读者一定能感受到蕴藏在字里行间的智慧。