基本信息
内容简介
作译者
关于我们
客户服务
友情链接
客户服务
友情链接
目录
译者序
序言
致谢
前言
作者简介
第一部分 引言
第1章 绪论
1.1 神经网络
1.2 深度学习
1.3 梯度下降法
1.4 小结
1.5 本书结构
第2章 通用数学框架
2.1 机器学习与计算统计学
2.2 小结
第3章 优化理论简述
3.1 机器学习所需的优化理论
3.2 在线算法：机器学习的顺序更新
3.3 小结
第4章 改进的CoCoSSC方法
序言
致谢
前言
作者简介
第一部分 引言
第1章 绪论
1.1 神经网络
1.2 深度学习
1.3 梯度下降法
1.4 小结
1.5 本书结构
第2章 通用数学框架
2.1 机器学习与计算统计学
2.2 小结
第3章 优化理论简述
3.1 机器学习所需的优化理论
3.2 在线算法：机器学习的顺序更新
3.3 小结
第4章 改进的CoCoSSC方法
前言
机器学习是一种核心的、变革性的方式，通过它，我们可以重新思考我们正在做的一切。我们正在深思熟虑地将它应用到所有的产品中，无论是搜索、广告、YouTube还是游戏。虽然刚刚起步，但你会看到我们如何系统地思考将机器学习应用到所有这些领域。
——Sundar Pichai, 谷歌首席执行官
机器学习及相关技术是最有趣的研究课题之一，它有可能改变世界的发展方向。然而，在目前的研究现状中，机器学习的研究还没有一个坚实的理论框架，不能为分析提供基础，也不能为实验运行提供指导。本书试图确定并解决在现代机器学习、人工智能、深度神经网络等方面具有重大研究兴趣的各个领域中存在的问题，这些技术可以完成非凡的任务，但是如何使用它们高度依赖的基本概念仍然是一个谜。梯度下降法是一种广泛应用于神经网络训练的方法。当使用梯度下降法时，无论是收敛到局部最小值还是全局最小值，都存在的一个挑战是缺乏关于该算法何时收敛的指导性准则。本书试图解决这个关键问题。本书为读者提供了新的理论框架，可以用于收敛性分析。
本书也代表了作者和合作者在机器学习领域数学方面的重大贡献。在整本书中，我们确保读者能够很好地理解和感受梯度下降技术的理论框架，以及在神经网络训练中使用这些理论框架的方法。为了强调这一点，书中使用了我们最近的一些研究成果，以及其他研究人员正在探索的综合成果。当阅读本书的各个章节时，读者会接触到各种非常重要的应用，比如子空间聚类和时间序列分析。本书力求达到理论与应用的平衡，因此，书中会同时给出理论以及相关应用。我们希望在机器学习领域为读者提供正确的工具，使阅读更加精彩，同时对读者产生巨大的影响。
与诸如Goodfellow、Bengio和Courville的《深度学习》等现有书籍相比，本书更深入地定义和展示了梯度下降领域的最新研究成果，使之成为学生和专业人士更为全面的工具。此外，本书还将这些概念与诸如子空间聚类和时间序列数据之类的应用联系起来，使其成为该领域中更好的选择。
本书的目标读者涵盖从事机器学习的所有人，无论是学生、教授、行业专家，还是独立研究人员。编撰本书的目的是为日常研究活动提供一本方便的手册。
本书分为几个独立的部分，以便读者首先接触到机器学习、神经网络、优化、梯度下降法等基本概念。在接下来的内容中，读者可以学习和理解选择梯度下降步长的最优性和自适应性，从而避开非凸优化问题中的严格鞍点。当所有鞍点都是严格的时，我们首先给出寻找局部最小值的梯度下降法的一个最大允许固定步长，它是梯度利普希茨常数(1/L)的2倍。虽然在最坏情况下步长大于2/L的梯度下降法发散，但是对于严格的鞍形非凸优化问题，我们同样得到了梯度下降法的最优步长。其中一个重要的结果是只要梯度下降的诱导映射是局部微分同胚的，就可以确保算法收敛到严格鞍点的勒贝格测度为0，而以前的研究工作都要求这个映射是全局微分同胚的。其次，我们还考虑了步长的自适应选择，证明如果每次迭代的步长与局部梯度利普希茨常数的倒数成正比，梯度下降法不会收敛到任何严格鞍点。据我们所知，这是第一个揭示变步长梯度下降法也可以避开鞍点的研究成果，应用动力系统理论中Hartman积映射定理的推广可以证明这一点。
本书还定义和阐述了用于在非凸优化方案中寻找局部最小值的算法，从而帮助我们获得在某种程度上符合无摩擦牛顿第二定律的全局最小值。基于辛欧拉算法，以运动中可观察和可控制的速度为关键观测量，模拟了无摩擦的牛顿第二定律，并从解析解的直观分析出发，对该算法的高速收敛性进行了理论分析。最后，给出了高维强凸、非强凸和非凸函数的实验结果。本书还描述了一些离散算法，这些算法将用于测试速度或动能的可观测性和可控性，以及人工耗散能量。
此后又研究了含有噪声和缺失数据的问题子空间聚类，这是一个很有实际应用价值的问题。考虑到应用中具有随机高斯噪声和具有一致缺失项的不完整数据，我们的主要贡献是CoCoSSC——一种受CoCoLasso启发的新颖的噪声子空间聚类方法。值得注意的是，CoCoSSC在将输入数据传递到Lasso SSC算法之前，使用了一种基于半正定规划的预处理步骤来“去偏”和“去噪”，这使得它更加稳定，并且是一个L1标准化的自回归模型。我们从理论上证明了即使有1-Ω(n-2/5)比例的数据缺失，同时又被信噪比（SnR）为n-1/4的加性高斯噪声干扰，CoCoSSC仍能正常工作。与已知的只能处理恒定比例的数据丢失和n-1/6的高斯噪声信噪比的算法相比，CoCoSSC算法的效率有了显著的改善。与现有的粒子学习方法相比，我们的方法改进了粒子学习的样本完全推理策略。对合成的和实际的时间序列数据的大量实证研究，表明了该方法的有效性和高效率，同时有效的数值计算结果也证明了我们提出的算法的有效性和高效率。
史斌，加州大学伯克利分校
S. S. 艾扬格，迈阿密大学
——Sundar Pichai, 谷歌首席执行官
机器学习及相关技术是最有趣的研究课题之一，它有可能改变世界的发展方向。然而，在目前的研究现状中，机器学习的研究还没有一个坚实的理论框架，不能为分析提供基础，也不能为实验运行提供指导。本书试图确定并解决在现代机器学习、人工智能、深度神经网络等方面具有重大研究兴趣的各个领域中存在的问题，这些技术可以完成非凡的任务，但是如何使用它们高度依赖的基本概念仍然是一个谜。梯度下降法是一种广泛应用于神经网络训练的方法。当使用梯度下降法时，无论是收敛到局部最小值还是全局最小值，都存在的一个挑战是缺乏关于该算法何时收敛的指导性准则。本书试图解决这个关键问题。本书为读者提供了新的理论框架，可以用于收敛性分析。
本书也代表了作者和合作者在机器学习领域数学方面的重大贡献。在整本书中，我们确保读者能够很好地理解和感受梯度下降技术的理论框架，以及在神经网络训练中使用这些理论框架的方法。为了强调这一点，书中使用了我们最近的一些研究成果，以及其他研究人员正在探索的综合成果。当阅读本书的各个章节时，读者会接触到各种非常重要的应用，比如子空间聚类和时间序列分析。本书力求达到理论与应用的平衡，因此，书中会同时给出理论以及相关应用。我们希望在机器学习领域为读者提供正确的工具，使阅读更加精彩，同时对读者产生巨大的影响。
与诸如Goodfellow、Bengio和Courville的《深度学习》等现有书籍相比，本书更深入地定义和展示了梯度下降领域的最新研究成果，使之成为学生和专业人士更为全面的工具。此外，本书还将这些概念与诸如子空间聚类和时间序列数据之类的应用联系起来，使其成为该领域中更好的选择。
本书的目标读者涵盖从事机器学习的所有人，无论是学生、教授、行业专家，还是独立研究人员。编撰本书的目的是为日常研究活动提供一本方便的手册。
本书分为几个独立的部分，以便读者首先接触到机器学习、神经网络、优化、梯度下降法等基本概念。在接下来的内容中，读者可以学习和理解选择梯度下降步长的最优性和自适应性，从而避开非凸优化问题中的严格鞍点。当所有鞍点都是严格的时，我们首先给出寻找局部最小值的梯度下降法的一个最大允许固定步长，它是梯度利普希茨常数(1/L)的2倍。虽然在最坏情况下步长大于2/L的梯度下降法发散，但是对于严格的鞍形非凸优化问题，我们同样得到了梯度下降法的最优步长。其中一个重要的结果是只要梯度下降的诱导映射是局部微分同胚的，就可以确保算法收敛到严格鞍点的勒贝格测度为0，而以前的研究工作都要求这个映射是全局微分同胚的。其次，我们还考虑了步长的自适应选择，证明如果每次迭代的步长与局部梯度利普希茨常数的倒数成正比，梯度下降法不会收敛到任何严格鞍点。据我们所知，这是第一个揭示变步长梯度下降法也可以避开鞍点的研究成果，应用动力系统理论中Hartman积映射定理的推广可以证明这一点。
本书还定义和阐述了用于在非凸优化方案中寻找局部最小值的算法，从而帮助我们获得在某种程度上符合无摩擦牛顿第二定律的全局最小值。基于辛欧拉算法，以运动中可观察和可控制的速度为关键观测量，模拟了无摩擦的牛顿第二定律，并从解析解的直观分析出发，对该算法的高速收敛性进行了理论分析。最后，给出了高维强凸、非强凸和非凸函数的实验结果。本书还描述了一些离散算法，这些算法将用于测试速度或动能的可观测性和可控性，以及人工耗散能量。
此后又研究了含有噪声和缺失数据的问题子空间聚类，这是一个很有实际应用价值的问题。考虑到应用中具有随机高斯噪声和具有一致缺失项的不完整数据，我们的主要贡献是CoCoSSC——一种受CoCoLasso启发的新颖的噪声子空间聚类方法。值得注意的是，CoCoSSC在将输入数据传递到Lasso SSC算法之前，使用了一种基于半正定规划的预处理步骤来“去偏”和“去噪”，这使得它更加稳定，并且是一个L1标准化的自回归模型。我们从理论上证明了即使有1-Ω(n-2/5)比例的数据缺失，同时又被信噪比（SnR）为n-1/4的加性高斯噪声干扰，CoCoSSC仍能正常工作。与已知的只能处理恒定比例的数据丢失和n-1/6的高斯噪声信噪比的算法相比，CoCoSSC算法的效率有了显著的改善。与现有的粒子学习方法相比，我们的方法改进了粒子学习的样本完全推理策略。对合成的和实际的时间序列数据的大量实证研究，表明了该方法的有效性和高效率，同时有效的数值计算结果也证明了我们提出的算法的有效性和高效率。
史斌，加州大学伯克利分校
S. S. 艾扬格，迈阿密大学
序言
本书将对机器学习领域产生重大影响。目前已经有一些书讨论了不同类别的机器学习技术，而本书深入研究的是机器学习算法的数学基础。这是很有必要的，因为从业者和学者都必须有一种方法来衡量大量算法应用的有效性。
本书的主要贡献之一是讨论了凸约束稀疏子空间聚类（CoCoSSC）。一些机器学习方法的优劣取决于最速下降方法的收敛性，当目标函数为非凸目标（或凸约束目标）时，CoCoSSC方法设计的梯度下降方法具有更快的收敛性。
有许多应用将受益于这一基础工作，应用于网络安全的机器学习就是这样一种应用。在实际应用中，其目标是减少网络分析师无法承受的数据量。具体而言，有一些例子表明，基于最速梯度下降的逻辑回归分类器有助于在数据库里将相关的网络主题与非网络主题分离开来。另一个类似的应用是识别被利用的恶意软件，该恶意软件是大型漏洞数据库的子集。
此外，人工智能有可能给许多行业带来革命性的改变，例如无人驾驶汽车、金融、国家安全、医药和电子商务等应用领域。本书将深入挖掘以上应用中所蕴含的凸约束优化技术的数学原理，该原理同样适用于作为机器学习算法基础的最速下降优化。
戴维·R马丁内斯
波士顿，马萨诸塞州
本书的主要贡献之一是讨论了凸约束稀疏子空间聚类（CoCoSSC）。一些机器学习方法的优劣取决于最速下降方法的收敛性，当目标函数为非凸目标（或凸约束目标）时，CoCoSSC方法设计的梯度下降方法具有更快的收敛性。
有许多应用将受益于这一基础工作，应用于网络安全的机器学习就是这样一种应用。在实际应用中，其目标是减少网络分析师无法承受的数据量。具体而言，有一些例子表明，基于最速梯度下降的逻辑回归分类器有助于在数据库里将相关的网络主题与非网络主题分离开来。另一个类似的应用是识别被利用的恶意软件，该恶意软件是大型漏洞数据库的子集。
此外，人工智能有可能给许多行业带来革命性的改变，例如无人驾驶汽车、金融、国家安全、医药和电子商务等应用领域。本书将深入挖掘以上应用中所蕴含的凸约束优化技术的数学原理，该原理同样适用于作为机器学习算法基础的最速下降优化。
戴维·R马丁内斯
波士顿，马萨诸塞州
媒体评论
本书重点研究机器学习的数学理论。第一部分探讨了在非凸优化问题中，选择梯度下降步长来避免严格鞍点的最优性和自适应性。第二部分提出了在非凸优化中寻找局部极小值的算法，并利用牛顿第二定律在一定程度上得到无摩擦的全局极小值。第三部分研究了含有噪声和缺失数据的子空间聚类问题，这是一个由随机高斯噪声的实际应用数据和含有均匀缺失项的不完全数据激发的问题;还提出了一种新的具有粘性网正则化的VAR模型及其等价贝叶斯模型，该模型既考虑了稳定的稀疏性，又考虑了群体选择。
本书特色
深入研究机器学习的各种数学理论。
分四个部分介绍，让读者轻松驾驭复杂的理论。
包括对合成和实时应用时间序列数据进行的广泛实证研究。
本书特色
深入研究机器学习的各种数学理论。
分四个部分介绍，让读者轻松驾驭复杂的理论。
包括对合成和实时应用时间序列数据进行的广泛实证研究。
