基本信息
【插图】
内容简介
目录
译者序
前 言
致 谢
第1章 引言1
1.1 传统机器学习范式1
1.2 案例3
1.3 终身学习简史7
1.4 终身学习的定义9
1.5 知识类型和关键挑战14
1.6 评估方法和大数据的角色17
1.7 本书大纲18
第2章 相关学习范式20
2.1 迁移学习20
2.1.1 结构对应学习21
2.1.2 朴素贝叶斯迁移分类器22
2.1.3 迁移学习中的深度学习23
2.1.4 迁移学习与终身学习的区别24
2.2 多任务学习25
2.2.1 多任务学习中的任务相关性25
2.2.2 GO-MTL：使用潜在基础任务的多任务学习26
前 言
致 谢
第1章 引言1
1.1 传统机器学习范式1
1.2 案例3
1.3 终身学习简史7
1.4 终身学习的定义9
1.5 知识类型和关键挑战14
1.6 评估方法和大数据的角色17
1.7 本书大纲18
第2章 相关学习范式20
2.1 迁移学习20
2.1.1 结构对应学习21
2.1.2 朴素贝叶斯迁移分类器22
2.1.3 迁移学习中的深度学习23
2.1.4 迁移学习与终身学习的区别24
2.2 多任务学习25
2.2.1 多任务学习中的任务相关性25
2.2.2 GO-MTL：使用潜在基础任务的多任务学习26
前言
编写第2版的目的是扩展终身学习的定义，更新部分章节的内容，并添加一个新的章节来介绍深度神经网络中的持续学习(continual learning in deep neural networks），这部分内容在过去的两三年里一直被积极研究。另外，还重新组织了部分章节，使得内容更有条理。
编写本书的工作始于我们在2015年第24届国际人工智能联合会议（IJCAI）上关于终身机器学习(lifelong machine learning）的教程。当时，我们已经对终身机器学习这个主题做了一段时间的研究，并在ICML、KDD和ACL上发表了几篇文章。当Morgan ＆ Claypool出版社联系我们要出版关于该主题的图书时，我们很兴奋。我们坚信终身机器学习（或简称终身学习）对未来的机器学习和人工智能（AI）至关重要。值得注意的是，终身学习有时在文献中也被称为持续学习(continual learning）或连续学习(continuous learning）。我们对该主题的最初研究兴趣源于几年前在一个初创公司所做的关于情感分析（SA）的工作中所积累的广泛应用经验。（典型的SA项目始于客户在社交媒体中对他们自己或竞争对手的产品或服务发表的消费者意见。）SA系统包含两个主要的分析任务：（1）发现人们在评论文档（如在线评论）中谈到的实体（例如，iPhone）和实体属性/特征（例如，电池寿命）；（2）确定关于每个实体或实体属性的评论是正面的、负面的或中立的［Liu,2012,2015］。例如，从“iPhone真的很酷，但它的电池寿命很糟糕”这句话中，SA系统应该发现：（1）作者对iPhone的评论是正面的；（2）作者对iPhone的电池续航时间的评论是负面的。
在参与许多领域（产品或服务的类型）的许多项目之后，我们意识到跨领域和跨项目之间存在着大量可共享的信息。随着我们经历的项目越来越多，遇到的新事物却越来越少。很容易看出，情感词和短语（如好的、坏的、差的、糟糕的和昂贵的）是跨领域共享的，大量的实体和属性也是共享的。例如，每个产品都有价格属性，大量电子产品有电池，大多数还有屏幕。如果不使用这些可共享的信息来大幅度提高SA的准确度，而是单独处理每个项目及其数据，是比较愚蠢的做法。经典的机器学习范式完全孤立地学习。在这种范式下，给定一个数据集，学习算法在这个数据集上运行并生成模型，算法没有记忆，因此无法使用先前学习的知识。为了利用知识共享，SA系统必须保留和积累过去学到的知识，并将其用于未来的学习和问题的解决，这正是终身学习(lifelong learning）的目标。
不难想象，这种跨领域和跨任务的信息或知识共享在每个领域都是正确的。在自然语言处理中尤为明显，因为单词和短语的含义在不同领域和任务之间基本相同，句子语法也是如此。无论我们谈论什么主题，都使用相同的语言，尽管每个主题可能只使用一种语言中的一小部分单词和短语。如果情况并非如此，那么人类也不会形成自然语言。因此，终身学习可以广泛应用，而不仅仅局限于情感分析。
本书的目的是提出这种新兴的机器学习范式，并对该领域的重要研究成果和新想法进行全面的回顾。我们还想为该研究领域提出一个统一的框架。目前，机器学习中有几个与终身学习密切相关的研究课题，特别值得注意的是多任务学习和迁移学习，因为它们也采用了知识共享和知识迁移的思想。本书将集中介绍这些主题，并讨论它们之间的相同和差异。我们将终身学习视为这些相关范式的扩展。通过本书，我们还想激励研究人员开展终身学习的研究。我们相信终身学习代表了未来几年机器学习和人工智能的主要研究方向。如果不能保留和积累过去学到的知识，对知识进行推理，并利用已学到的知识帮助未来的学习和解决问题，那么实现通用人工智能（Artificial General Intelligence, AGI）是不可能的。
编写本书遵循了两个主要指导原则。首先，它应该包含开展终身学习研究的强大动机，以便鼓励研究生和研究人员致力于研究终身学习的问题。其次，它的内容对于具有机器学习和数据挖掘基础知识的从业者和高年级本科生应该是易于理解的。但是，对于计划攻读机器学习和数据挖掘领域博士学位的研究生来说，应该学习更加详尽的资料。
因此，本书适用于对机器学习、数据挖掘、自然语言处理或模式识别感兴趣的学生、研究人员和从业人员。
陈志源和刘兵
2018年8月
编写本书的工作始于我们在2015年第24届国际人工智能联合会议（IJCAI）上关于终身机器学习(lifelong machine learning）的教程。当时，我们已经对终身机器学习这个主题做了一段时间的研究，并在ICML、KDD和ACL上发表了几篇文章。当Morgan ＆ Claypool出版社联系我们要出版关于该主题的图书时，我们很兴奋。我们坚信终身机器学习（或简称终身学习）对未来的机器学习和人工智能（AI）至关重要。值得注意的是，终身学习有时在文献中也被称为持续学习(continual learning）或连续学习(continuous learning）。我们对该主题的最初研究兴趣源于几年前在一个初创公司所做的关于情感分析（SA）的工作中所积累的广泛应用经验。（典型的SA项目始于客户在社交媒体中对他们自己或竞争对手的产品或服务发表的消费者意见。）SA系统包含两个主要的分析任务：（1）发现人们在评论文档（如在线评论）中谈到的实体（例如，iPhone）和实体属性/特征（例如，电池寿命）；（2）确定关于每个实体或实体属性的评论是正面的、负面的或中立的［Liu,2012,2015］。例如，从“iPhone真的很酷，但它的电池寿命很糟糕”这句话中，SA系统应该发现：（1）作者对iPhone的评论是正面的；（2）作者对iPhone的电池续航时间的评论是负面的。
在参与许多领域（产品或服务的类型）的许多项目之后，我们意识到跨领域和跨项目之间存在着大量可共享的信息。随着我们经历的项目越来越多，遇到的新事物却越来越少。很容易看出，情感词和短语（如好的、坏的、差的、糟糕的和昂贵的）是跨领域共享的，大量的实体和属性也是共享的。例如，每个产品都有价格属性，大量电子产品有电池，大多数还有屏幕。如果不使用这些可共享的信息来大幅度提高SA的准确度，而是单独处理每个项目及其数据，是比较愚蠢的做法。经典的机器学习范式完全孤立地学习。在这种范式下，给定一个数据集，学习算法在这个数据集上运行并生成模型，算法没有记忆，因此无法使用先前学习的知识。为了利用知识共享，SA系统必须保留和积累过去学到的知识，并将其用于未来的学习和问题的解决，这正是终身学习(lifelong learning）的目标。
不难想象，这种跨领域和跨任务的信息或知识共享在每个领域都是正确的。在自然语言处理中尤为明显，因为单词和短语的含义在不同领域和任务之间基本相同，句子语法也是如此。无论我们谈论什么主题，都使用相同的语言，尽管每个主题可能只使用一种语言中的一小部分单词和短语。如果情况并非如此，那么人类也不会形成自然语言。因此，终身学习可以广泛应用，而不仅仅局限于情感分析。
本书的目的是提出这种新兴的机器学习范式，并对该领域的重要研究成果和新想法进行全面的回顾。我们还想为该研究领域提出一个统一的框架。目前，机器学习中有几个与终身学习密切相关的研究课题，特别值得注意的是多任务学习和迁移学习，因为它们也采用了知识共享和知识迁移的思想。本书将集中介绍这些主题，并讨论它们之间的相同和差异。我们将终身学习视为这些相关范式的扩展。通过本书，我们还想激励研究人员开展终身学习的研究。我们相信终身学习代表了未来几年机器学习和人工智能的主要研究方向。如果不能保留和积累过去学到的知识，对知识进行推理，并利用已学到的知识帮助未来的学习和解决问题，那么实现通用人工智能（Artificial General Intelligence, AGI）是不可能的。
编写本书遵循了两个主要指导原则。首先，它应该包含开展终身学习研究的强大动机，以便鼓励研究生和研究人员致力于研究终身学习的问题。其次，它的内容对于具有机器学习和数据挖掘基础知识的从业者和高年级本科生应该是易于理解的。但是，对于计划攻读机器学习和数据挖掘领域博士学位的研究生来说，应该学习更加详尽的资料。
因此，本书适用于对机器学习、数据挖掘、自然语言处理或模式识别感兴趣的学生、研究人员和从业人员。
陈志源和刘兵
2018年8月
媒体评论
本书介绍终身学习这种高级机器学习范式，这种范式通过积累过去的知识持续地学习，并将学到的知识用于帮助在未来进行其他学习和解决问题。相比之下，当前主流的机器学习范式都是孤立学习，即给定一个训练数据集，之后在这个数据集上运行机器学习算法以生成模型，然后再将该模型运用于预期的应用。这些范式不保留已经学到的知识，也不将其运用到后续的学习中。与孤立学习系统不同，人类只通过少量的样例就能实现有效学习，这是因为人类的学习是知识驱动的，即只需少量的数据或付出，就能利用过去已经学到的知识去学习新事物。终身学习的目标就是模仿人类的这种学习能力，因为一个没有持续学习能力的AI系统不能算作真正的智能。
自本书第1版出版以来，终身学习的研究在相对较短的时间内取得了显著的进展。出版第2版是为了扩展终身学习的定义，更新部分章节的内容，并添加一个新的章节来介绍深度神经网络中持续学习的内容，这部分内容在过去的两三年里一直被积极研究。部分章节的内容也进行了修改，使得内容更有条理，方便读者阅读。此外，作者希望为这一研究领域提出一个统一的框架。目前，在机器学习中有几个与终身学习密切相关的研究课题，特别是多任务学习、迁移学习以及元学习，因为它们也采用了知识共享和知识迁移的思想。本书之所以集中介绍这些技术并讨论其异同，目的是在介绍终身机器学习的同时，对该领域的重要研究成果和新想法进行全面回顾。本书适用于对机器学习、数据挖掘、自然语言处理或模式识别感兴趣的学生、研究人员和从业人员。
自本书第1版出版以来，终身学习的研究在相对较短的时间内取得了显著的进展。出版第2版是为了扩展终身学习的定义，更新部分章节的内容，并添加一个新的章节来介绍深度神经网络中持续学习的内容，这部分内容在过去的两三年里一直被积极研究。部分章节的内容也进行了修改，使得内容更有条理，方便读者阅读。此外，作者希望为这一研究领域提出一个统一的框架。目前，在机器学习中有几个与终身学习密切相关的研究课题，特别是多任务学习、迁移学习以及元学习，因为它们也采用了知识共享和知识迁移的思想。本书之所以集中介绍这些技术并讨论其异同，目的是在介绍终身机器学习的同时，对该领域的重要研究成果和新想法进行全面回顾。本书适用于对机器学习、数据挖掘、自然语言处理或模式识别感兴趣的学生、研究人员和从业人员。
