基本信息
【插图】
内容简介
作译者
[意大利]马可·戈里（Marco Gori） 著：---作者简介---
马可·戈里（Marco Gori） 意大利锡耶纳大学教授，专注于人工智能领域，特别是机器学习和游戏。他是IEEE计算智能协会意大利分会主席，意大利人工智能协会主席。此外，他还是Web Dragons: Inside the Myths of Search Engine Technology一书的作者。
---译者简介---
谢宁 电子科技大学计算机科学与工程学院副教授，四川省特聘专家。研究兴趣包括统计机器学习、计算机图形学，研究领域包括强化学习、行为智能、游戏智能、艺术化绘制等。
马可·戈里（Marco Gori） 意大利锡耶纳大学教授，专注于人工智能领域，特别是机器学习和游戏。他是IEEE计算智能协会意大利分会主席，意大利人工智能协会主席。此外，他还是Web Dragons: Inside the Myths of Search Engine Technology一书的作者。
---译者简介---
谢宁 电子科技大学计算机科学与工程学院副教授，四川省特聘专家。研究兴趣包括统计机器学习、计算机图形学，研究领域包括强化学习、行为智能、游戏智能、艺术化绘制等。
目录
译者序
前言
练习说明
第1章整体情况
11为什么机器需要学习
111学习任务
112环境的符号和子符号表示
113生物和人工神经网络
114学习的协议
115基于约束的学习
12原则和实践
121归纳的令人困惑的本质
122学习原则
123时间在学习过程中的作用
124注意力机制的聚焦
13实践经验
131度量实验的成功
132手写字符识别
133建立机器学习实验
134试验和实验备注
前言
练习说明
第1章整体情况
11为什么机器需要学习
111学习任务
112环境的符号和子符号表示
113生物和人工神经网络
114学习的协议
115基于约束的学习
12原则和实践
121归纳的令人困惑的本质
122学习原则
123时间在学习过程中的作用
124注意力机制的聚焦
13实践经验
131度量实验的成功
132手写字符识别
133建立机器学习实验
134试验和实验备注
前言
机器学习代表我们在技术层面对理解人类智能本质的期望。因为在计算机这一领域机器学习无法被完全解释，因此它并不是对人类模式的一种巧妙的仿真。虽然深入了解神经科学的奥秘可能会激发出关于智能背后的计算智能的全新想法，但是现阶段大多数机器学习的进步都依赖根植于数学的模型和相应的计算机实现。尽管脑科学可能会继续朝着与人工计算方案结合的方向前进，但我们依然可以合理地推测，认知产生的基础不一定要在生物解决方案的惊人复杂性中进行探索，而主要是在更高层次的计算规律中探索。支持不同认知形式的生物学方案实际上与支持其他基本生命功能（如新陈代谢、生长、体重调节和压力反应）的平行需求密切相关。然而，无论这种复杂的环境如何，大多数类人类智能的过程都可能出现。人们可能会怀疑这些过程是基于信息认知规律的，而这些规律与生物学并无关系。有明确的证据证明在特定的认知任务中存在这种不变性，但是人工智能的挑战每天都在扩大这些任务的范围。虽然没有人会对数学和逻辑运算中的计算能力感到惊讶，但是外行并不十分清楚这些游戏上的挑战的结果。事实上，它们通常被认为是智能的独特标志。而且很明显的是，游戏已经由计算机程序开始主导。Sam Loyd 的15谜问题和魔方是计算机程序在解谜游戏中非常成功的例子。还有最近的国际象棋和围棋，在这些领域机器打破了人类智能的统治地位。不过，对于许多在语言、视觉和运动控制方面的认知能力，现阶段的机器学习仍然很难实现。
本书提供了一个统一的学科视图，该学科将环境建模为满足智能体期望的约束条件的集合，将读者带入机器学习的迷人领域。几乎所有在机器学习中面临的任务都可以在这个数学框架下建模。线性和线性阈值机、神经网络和核方法通常被认为是需要软性满足对应于训练集的一组逐点约束的自适应模型。在功能和经验形式中，经典的风险都可以看作软约束系统中最小化的惩罚函数。无监督学习可以给出类似的公式，其中惩罚函数在某种程度上提供了对数据概率分布的解释。基于信息的索引可用于提取无监督的特征，并且可以将它们明确地视为实施软约束的一种方式。然而，智能体可以从在某种逻辑形式主义中给出的抽象知识粒子中获益。虽然人工智能在知识表示和自动推理领域已经很成熟，但是根植于逻辑的基础理论导致模型不能与机器学习紧密结合。将符号知识库作为约束集合的同时，本书开辟了与机器学习深度融合的道路，这种机器学习依赖于采用多值逻辑形式的思想，如模糊系统。值得注意的是，深度学习非常适用于本书中所采用的基于约束的方法。最近深度学习在代表性问题和学习方面的一些基本成就，加上对并行计算的适当利用，已经为世界各地相关领域的高科技公司的发展创造了梦幻般的催化剂。在本书中我尽自己所能，在受约束的环境框架中揭示深度学习的力量及深度学习的解释。在这样做的过程中，我希望能够激发读者去学习适当的背景知识，以便能够快速掌握之后的创新。
在整本书中，我希望读者能够充分参与到这门学科中，以便形成自己的观点，而不仅仅是融入他人所提供的框架。本书为机器学习的基本模型和算法提供了一种令人耳目一新的方法，其中对约束的关注很好地模糊了有监督、无监督和半监督学习之间的经典差异。以下是本书的一些特点：
这是一本概述性的书籍，适合所有希望对基本概念有深入理解的读者。
本书旨在提出问题并帮助读者逐步学习基本方法，而不仅仅是提供“烹饪食谱”。
本书提出采用约束的概念，作为对现今最常见的机器学习方法的真正统一的处理方式，同时结合在AI社区中占主导地位的逻辑形式主义的力量。
根据 Donald Knuth 难度排名（略微修改），书中包含了很多练习题，并且提供了答案。
本书是为具有数学和计算机科学基础背景的读者准备的。更多更新的主题可参照附录。强烈建议读者用批判性的思维来阅读，并通过练习题来巩固相关概念。建议读者先独立完成这些题目，再查阅书后的“练习答案”。在撰写本书时，我的主要目标是让读者感受到和创造者一样的兴奋，并用这种方式来呈现概念和结果。读者不仅仅是被动阅读，还应该充分参与该学科并积极学习。如今，人们可以快速地学习基础知识，并开始部署常见的机器学习主题，这归功于有着精美插图和精彩模拟的网络资源。这些资源为想要进入该领域的人提供了便捷且有效的支持。这些网络资源爆炸性增长并且可以快速用于应用程序开发，因此一本关于机器学习的书很难与其竞争。但如果你想更深刻地理解该学科，那么必须将注意力转移到基础上，并将更多的时间花在可能适用于实际应用中的许多算法和技术解决方案的基本原则上。撰写本书的重要目标就是提出基本的思想，并提供一个统一的以基于信息的学习法则为中心的观点。本书雏形主要源自在锡耶纳大学的硕士和博士课程中收集的材料，之后用我自己在环境约束的统一概念下的可解释学习的观点逐渐丰富了它。考虑到网络资源如此充足，本书可以作为硕士生学习机器学习知识的教科书，也可以用于补充模式识别、数据挖掘和相关学科的课程。本书的某些部分更适合博士生的课程。另外，一些练习题实际上是对研究问题的认真选择，这些问题对博士生来说是一个挑战。虽然本书主要是为计算机专业的学生设计的，但其整体组织和主题的涵盖方式可能会激发物理和数学专业学生的兴趣。
在撰写本书的过程中，我不断受到激励，因为我对该领域的知识充满渴望，同时也不断面对以统一的方式审视和处理主要原则的挑战。我接触了该领域的大量文献，发现自己曾经忽略了不少非凡的想法和技术进展。我学到了很多，并在反复研究这些想法和成果的过程中感到欣喜。希望读者在阅读本书时能够体验到同样的感受。
致谢
我要感谢在编撰本书的过程中帮助过我的人。感谢所有以不同方式教导我如何找到事物内在原因与逻辑的人。很难将他们的名字列出一份清单，但是他们的教导的确让我越来越渴望理解人工智能并研究和设计智能机器，这份渴望就好比本书的种子。我所写的大部分内容都来自讲授机器学习的硕士和博士课程，以及在过去数十年中与锡耶纳大学人工智能实验室的同事和同学不断推敲的想法和讨论。与C Lee Giles、Ah Chung Tsoi、Paolo Frasconi和Alessandro Sperduti的许多有见地的讨论有助于改正我对循环神经网络的看法，例如本书中提出的扩散机。你可以发现我在本书中提到的关于约束学习的观点也已经逐渐被证明，这要感谢与Marcello Sanguineti、Giorgio Gnecco和Luciano Serafini的合作。对基准的批判，以及众包评价方案的建议，都要归功于Marcello Pelillo和Fabio Roli，他们与我合作组织了一些关于这个主题的项目。 我很感激Patrick Gallinari邀请我参加2016年夏天在巴黎第六大学举办的夏季研讨会，那里的环境极大地激励了我去撰写本书。我在研讨会的后续工作引发了实验室同事和学生的深刻讨论。与Stefan Knerr的合作极大地影响了我对机器学习在自然语言处理中的作用的看法。本书中涉及的大多数高级主题都得益于他对机器学习在会话代理中的作用的长期愿景。我还受益于Beatrice Lazzerini和Francesco Giannini对本书某些部分的准确检查和建议。
Alessandro Betti的贡献特别值得一提，他细致深入的阅读使这本书发生了翻天覆地的变化。他不仅发现了一些错误，而且还提出了替代演示文稿的一些建议，以及对基本概念的相关解释。本书中包含的许多以研究为导向的练习也经过了长时间的激烈讨论。最后，他对LATEX排版的建议和支持也非常有用。
感谢Lorenzo Menconi和Agnese Gori分别为封面和开篇章节提供的精美图片。最后，感谢Cecilia、Irene和Agnese在周末工作期间容忍了我随意的想法，以及他们对一个将笔记本电脑随时携带在身边的“半机械人”的容忍。
阅读指南
书中的大部分章节都是自成一体的，因此，你可以在不读前三章的情况下，开始阅读关于核方法的第4章或者关于深层结构的第5章。尽管第6章讨论更高级的主题，但它可以独立于书中其余部分来阅读。第1章为读者提供了关于本书主要主题的快速讨论。第2章在第一次阅读时也可以被忽略，它提供了关于学习原则的一般框架，这无疑有助于对后续主题进行深入分析。最后，从关于线性和线性阈值机的第3章开始阅读可能是学习机器学习基础最简单的方法。第3章的内容不仅具有历史意义，而且对深入理解架构和学习问题是非常重要的，这对于其他更复杂的模型来说是很难实现的。书中的高级主题是由“险弯”和“双险弯符号”来表示的：
研究主题将用“在研”符号来表示：
Marco Gori
锡耶纳，2017年7月
本书提供了一个统一的学科视图，该学科将环境建模为满足智能体期望的约束条件的集合，将读者带入机器学习的迷人领域。几乎所有在机器学习中面临的任务都可以在这个数学框架下建模。线性和线性阈值机、神经网络和核方法通常被认为是需要软性满足对应于训练集的一组逐点约束的自适应模型。在功能和经验形式中，经典的风险都可以看作软约束系统中最小化的惩罚函数。无监督学习可以给出类似的公式，其中惩罚函数在某种程度上提供了对数据概率分布的解释。基于信息的索引可用于提取无监督的特征，并且可以将它们明确地视为实施软约束的一种方式。然而，智能体可以从在某种逻辑形式主义中给出的抽象知识粒子中获益。虽然人工智能在知识表示和自动推理领域已经很成熟，但是根植于逻辑的基础理论导致模型不能与机器学习紧密结合。将符号知识库作为约束集合的同时，本书开辟了与机器学习深度融合的道路，这种机器学习依赖于采用多值逻辑形式的思想，如模糊系统。值得注意的是，深度学习非常适用于本书中所采用的基于约束的方法。最近深度学习在代表性问题和学习方面的一些基本成就，加上对并行计算的适当利用，已经为世界各地相关领域的高科技公司的发展创造了梦幻般的催化剂。在本书中我尽自己所能，在受约束的环境框架中揭示深度学习的力量及深度学习的解释。在这样做的过程中，我希望能够激发读者去学习适当的背景知识，以便能够快速掌握之后的创新。
在整本书中，我希望读者能够充分参与到这门学科中，以便形成自己的观点，而不仅仅是融入他人所提供的框架。本书为机器学习的基本模型和算法提供了一种令人耳目一新的方法，其中对约束的关注很好地模糊了有监督、无监督和半监督学习之间的经典差异。以下是本书的一些特点：
这是一本概述性的书籍，适合所有希望对基本概念有深入理解的读者。
本书旨在提出问题并帮助读者逐步学习基本方法，而不仅仅是提供“烹饪食谱”。
本书提出采用约束的概念，作为对现今最常见的机器学习方法的真正统一的处理方式，同时结合在AI社区中占主导地位的逻辑形式主义的力量。
根据 Donald Knuth 难度排名（略微修改），书中包含了很多练习题，并且提供了答案。
本书是为具有数学和计算机科学基础背景的读者准备的。更多更新的主题可参照附录。强烈建议读者用批判性的思维来阅读，并通过练习题来巩固相关概念。建议读者先独立完成这些题目，再查阅书后的“练习答案”。在撰写本书时，我的主要目标是让读者感受到和创造者一样的兴奋，并用这种方式来呈现概念和结果。读者不仅仅是被动阅读，还应该充分参与该学科并积极学习。如今，人们可以快速地学习基础知识，并开始部署常见的机器学习主题，这归功于有着精美插图和精彩模拟的网络资源。这些资源为想要进入该领域的人提供了便捷且有效的支持。这些网络资源爆炸性增长并且可以快速用于应用程序开发，因此一本关于机器学习的书很难与其竞争。但如果你想更深刻地理解该学科，那么必须将注意力转移到基础上，并将更多的时间花在可能适用于实际应用中的许多算法和技术解决方案的基本原则上。撰写本书的重要目标就是提出基本的思想，并提供一个统一的以基于信息的学习法则为中心的观点。本书雏形主要源自在锡耶纳大学的硕士和博士课程中收集的材料，之后用我自己在环境约束的统一概念下的可解释学习的观点逐渐丰富了它。考虑到网络资源如此充足，本书可以作为硕士生学习机器学习知识的教科书，也可以用于补充模式识别、数据挖掘和相关学科的课程。本书的某些部分更适合博士生的课程。另外，一些练习题实际上是对研究问题的认真选择，这些问题对博士生来说是一个挑战。虽然本书主要是为计算机专业的学生设计的，但其整体组织和主题的涵盖方式可能会激发物理和数学专业学生的兴趣。
在撰写本书的过程中，我不断受到激励，因为我对该领域的知识充满渴望，同时也不断面对以统一的方式审视和处理主要原则的挑战。我接触了该领域的大量文献，发现自己曾经忽略了不少非凡的想法和技术进展。我学到了很多，并在反复研究这些想法和成果的过程中感到欣喜。希望读者在阅读本书时能够体验到同样的感受。
致谢
我要感谢在编撰本书的过程中帮助过我的人。感谢所有以不同方式教导我如何找到事物内在原因与逻辑的人。很难将他们的名字列出一份清单，但是他们的教导的确让我越来越渴望理解人工智能并研究和设计智能机器，这份渴望就好比本书的种子。我所写的大部分内容都来自讲授机器学习的硕士和博士课程，以及在过去数十年中与锡耶纳大学人工智能实验室的同事和同学不断推敲的想法和讨论。与C Lee Giles、Ah Chung Tsoi、Paolo Frasconi和Alessandro Sperduti的许多有见地的讨论有助于改正我对循环神经网络的看法，例如本书中提出的扩散机。你可以发现我在本书中提到的关于约束学习的观点也已经逐渐被证明，这要感谢与Marcello Sanguineti、Giorgio Gnecco和Luciano Serafini的合作。对基准的批判，以及众包评价方案的建议，都要归功于Marcello Pelillo和Fabio Roli，他们与我合作组织了一些关于这个主题的项目。 我很感激Patrick Gallinari邀请我参加2016年夏天在巴黎第六大学举办的夏季研讨会，那里的环境极大地激励了我去撰写本书。我在研讨会的后续工作引发了实验室同事和学生的深刻讨论。与Stefan Knerr的合作极大地影响了我对机器学习在自然语言处理中的作用的看法。本书中涉及的大多数高级主题都得益于他对机器学习在会话代理中的作用的长期愿景。我还受益于Beatrice Lazzerini和Francesco Giannini对本书某些部分的准确检查和建议。
Alessandro Betti的贡献特别值得一提，他细致深入的阅读使这本书发生了翻天覆地的变化。他不仅发现了一些错误，而且还提出了替代演示文稿的一些建议，以及对基本概念的相关解释。本书中包含的许多以研究为导向的练习也经过了长时间的激烈讨论。最后，他对LATEX排版的建议和支持也非常有用。
感谢Lorenzo Menconi和Agnese Gori分别为封面和开篇章节提供的精美图片。最后，感谢Cecilia、Irene和Agnese在周末工作期间容忍了我随意的想法，以及他们对一个将笔记本电脑随时携带在身边的“半机械人”的容忍。
阅读指南
书中的大部分章节都是自成一体的，因此，你可以在不读前三章的情况下，开始阅读关于核方法的第4章或者关于深层结构的第5章。尽管第6章讨论更高级的主题，但它可以独立于书中其余部分来阅读。第1章为读者提供了关于本书主要主题的快速讨论。第2章在第一次阅读时也可以被忽略，它提供了关于学习原则的一般框架，这无疑有助于对后续主题进行深入分析。最后，从关于线性和线性阈值机的第3章开始阅读可能是学习机器学习基础最简单的方法。第3章的内容不仅具有历史意义，而且对深入理解架构和学习问题是非常重要的，这对于其他更复杂的模型来说是很难实现的。书中的高级主题是由“险弯”和“双险弯符号”来表示的：
研究主题将用“在研”符号来表示：
Marco Gori
锡耶纳，2017年7月
媒体评论
这本书非常有趣，从广义的视角对机器学习和深度学习进行了全新的解读，其中学习对应于满足约束条件，包括感知约束和符号约束，以及软约束和硬约束。
——Yoshua Bengio，蒙特利尔大学，图灵奖得主
机器学习是整个领域的真正动力，发展非常迅速，并且正在不断重塑当今的智能科学和工程。本书将带领你进入机器学习的迷人世界。
——Tomaso Poggio，麻省理工学院
本书从基于约束的视角讨论机器学习和深度学习，内容全面且新颖，相信读者一定能感受到蕴藏在字里行间的智慧。
——Pierre Baldi，加州大学尔湾分校
本书特色
采用约束的概念，将当前常见的机器学习方法真正融入统一的视角，同时结合在AI社区中占主导地位的逻辑形式主义的力量。
深入探讨无监督学习和半监督学习，重点是当前的两项研究热点——神经网络和核方法，对于深度学习的讨论尤其值得一读。
配有大量练习及答案，并根据Donald Knuth的难度排名进行分级，通过问题帮助读者理解知识，而不仅仅是提供“烹饪菜谱”。
作者简介
马可·戈里（Marco Gori）意大利锡耶纳大学教授，专注于人工智能领域，特别是机器学习和游戏。他是IEEE Fellow、ECCAI Fellow、IAPR Fellow，目前担任IEEE计算智能协会意大利分会主席，意大利人工智能协会主席。此外，他还是Web Dragons: Inside the Myths of Search Engine Technology一书的作者。
译者简介
谢宁电子科技大学计算机科学与工程学院副教授，四川省特聘专家。研究兴趣包括统计机器学习、计算机图形学，研究领域包括强化学习、行为智能、游戏智能、艺术化绘制等。
——Yoshua Bengio，蒙特利尔大学，图灵奖得主
机器学习是整个领域的真正动力，发展非常迅速，并且正在不断重塑当今的智能科学和工程。本书将带领你进入机器学习的迷人世界。
——Tomaso Poggio，麻省理工学院
本书从基于约束的视角讨论机器学习和深度学习，内容全面且新颖，相信读者一定能感受到蕴藏在字里行间的智慧。
——Pierre Baldi，加州大学尔湾分校
本书特色
采用约束的概念，将当前常见的机器学习方法真正融入统一的视角，同时结合在AI社区中占主导地位的逻辑形式主义的力量。
深入探讨无监督学习和半监督学习，重点是当前的两项研究热点——神经网络和核方法，对于深度学习的讨论尤其值得一读。
配有大量练习及答案，并根据Donald Knuth的难度排名进行分级，通过问题帮助读者理解知识，而不仅仅是提供“烹饪菜谱”。
作者简介
马可·戈里（Marco Gori）意大利锡耶纳大学教授，专注于人工智能领域，特别是机器学习和游戏。他是IEEE Fellow、ECCAI Fellow、IAPR Fellow，目前担任IEEE计算智能协会意大利分会主席，意大利人工智能协会主席。此外，他还是Web Dragons: Inside the Myths of Search Engine Technology一书的作者。
译者简介
谢宁电子科技大学计算机科学与工程学院副教授，四川省特聘专家。研究兴趣包括统计机器学习、计算机图形学，研究领域包括强化学习、行为智能、游戏智能、艺术化绘制等。
