基本信息
- 作者： [美]朱塞佩·C.卡拉菲奥(Giuseppe C.Calafiore) [美]洛朗·艾尔·加豪伊(Laurent El Ghaoui)
- 丛书名： 华章数学译丛
- 出版社：机械工业出版社
- ISBN：9787111704058
- 上架时间：2022-6-1
- 出版日期：2022 年5月
- 开本：16开
- 页码：589
- 版次：1-1
- 所属分类：数学 > 代数，数论及组合理论 > 线性代数
内容简介
作译者
[美]朱塞佩·C.卡拉菲奥(Giuseppe C.Calafiore) [美]洛朗·艾尔·加豪伊(Laurent El Ghaoui) 著：Giuseppe C.Calafiore 是意大利都灵理工大学自动化与信息学院副教授，意大利国家研究委员会电子、计算机和电信工程研究所研究员。
Laurent El Ghaoui 是美国加州大学伯克利分校电气工程和计算机科学系以及工业工程和运筹学系的教授。
Laurent El Ghaoui 是美国加州大学伯克利分校电气工程和计算机科学系以及工业工程和运筹学系的教授。
目录
译者序
前言
第 1 章 绪论 1
1.1 启发性的例子 1
1.2 优化问题 4
1.3 优化问题的重要类型 9
1.4 发展历史 13
第一部分 线性代数模型
第 2 章 向量和函数 18
2.1 向量的基本概念 18
2.2 范数与内积25
2.3 子空间上的投影 35
2.4 函数41
2.5 习题52
第 3 章 矩阵 54
3.1 矩阵的基本概念 54
3.2 矩阵作为线性映射 59
3.3 行列式、特征值和特征向量 62
3.4 具有特殊结构和性质的矩阵 73
3.5 矩阵分解 79
前言
第 1 章 绪论 1
1.1 启发性的例子 1
1.2 优化问题 4
1.3 优化问题的重要类型 9
1.4 发展历史 13
第一部分 线性代数模型
第 2 章 向量和函数 18
2.1 向量的基本概念 18
2.2 范数与内积25
2.3 子空间上的投影 35
2.4 函数41
2.5 习题52
第 3 章 矩阵 54
3.1 矩阵的基本概念 54
3.2 矩阵作为线性映射 59
3.3 行列式、特征值和特征向量 62
3.4 具有特殊结构和性质的矩阵 73
3.5 矩阵分解 79
前言
最优化理论是应用数学的一个分支，该理论研究在约束条件下某个函数的最小值或最大值.这个领域的诞生可以追溯到高斯年轻时所解决的一个天文学问题.后来随着物理学，特别是力学的发展，一些自然现象可被描述为“能量”函数最小化的问题，这是最优化的前身.现在最优化已经朝着研究和应用计算机算法来求解数学问题的方向发展.
如今，这个领域处于许多学科的交叉点，从统计学到动态系统与控制、复杂性理论和算法.它的应用范围非常广泛，包括机器学习、信息检索、工程设计、经济学、金融学和管理学.随着海量数据集的出现，最优化现在被视为数据科学这一新兴领域的重要组成部分.
在过去的20年里，人们对最优化及其应用领域重新产生了兴趣.最令人振奋的发展之一是一类特殊的优化问题——凸优化.凸模型为开发用来求解最优化问题的软件提供了一个可靠且实用的平台.借助于对用户友好的软件包，建模人员现在可以快速开发出非常高效的代码来求解千奇百怪的凸问题.现在，我们可以像求解规模相似的线性方程组一样轻松地解决凸问题.扩大可处理问题的范围反过来又使我们能够开发出更有效的方法来求解困难的非凸问题.
与此同时，数值线性代数方向也有了很大发展.在20世纪80年代后期对计算机算法进行了一系列开创性工作之后，用户友好型平台如Matlab、R以及最近的Python相继出现，这允许多代用户快速开发代码来求解数值问题.如今，对于求解具有数千个变量和方程的数值线性系统的实际算法和技术的能力，只有少数专家还心存疑虑，其他人则认为求解方案及其底层算法是理所当然的.
优化，更确切地说是凸优化，目前也处于类似阶段.基于这些原因，大多数工科、经济学和理科专业的学生可能会发现，在他们的职业生涯中，有能力识别、简化、建模和解决自己工作中出现的问题非常重要，而实际上只有极少数学生需要研究数值算法的细节.考虑到这个问题，我们将“最优化模型：线性代数模型、凸优化模型及应用”作为本书的标题，以突出强调以下事实：本书专注于“理解”实际问题的性质并将其建模为可求解的优化范例——这是一门“艺术”（通常是通过发现问题中的“隐藏凸性”结构），而不是聚焦于数量众多的特定数值优化算法的技术细节.为了完整起见，本书提供了两个相关章节，一章介绍基本的线性代数算法，而另一章则广泛地讨论所选取的优化算法.不过，跳过这些章节并不会影响对本书其他部分的理解.
近年来，为了满足科学界对凸优化知识日益增长的需求，一些教科书相继出版.这些教科书大多是面向研究生的，其中的确包含了丰富的内容.但本书还包括以下区别于其他书籍的内容：
. 本书既可用于本科线性代数和最优化理论课程，也可用于研究生的凸建模和最优化入门课程.
. 本书侧重于以适当的最优化理论对实际问题建模，而不是解决数学最优化的算法问题，有关算法的内容分为两章：一章讨论矩阵基本计算，而另一章讨论凸优化.
. 本书大约有三分之一的内容在独立介绍线性代数的基本主题及其应用.
. 本书包括许多现实生活中的例子，有几章专门介绍实际应用.
. 我们不刻意讨论一般的非凸模型，但会介绍凸模型如何有助于求解一些特定的非凸模型.
我们选择线性代数作为本书的第一部分，主要有两个考虑. 其一是线性代数可能是凸优化最重要的组成部分. 扎实地掌握线性代数和矩阵理论对于理解凸性、建立凸模型和开发凸优化算法至关重要. 其二是考虑到本科生在线性代数课程中的感知差距. 很多（也许并不是大多数）线性代数教科书都侧重于抽象概念和算法，而介绍实际例子的内容较少. 这些教材常常使学生对线性代数的概念和问题有很好的理解，但并不能让学生完全理解这些问题会出现在什么地方，以及为什么会出现. 例如，根据我们的经验，很少有本科生意识到线性代数是迄今为止使用最广泛的机器学习算法的基础，比如 Google 的网络搜索引擎使用的 PageRank 算法.
另一个常见的困难是：根据这一领域的发展历史，大多数教科书都把大量的篇幅放在一般矩阵的特征值和 Jordan 标准型上. 它们也确实有许多相关的应用，例如在求解常微分方程组时. 但是，奇异值的主要概念（如果有）常常被放在最后几章. 因此，线性代数的经典教学遗漏了一些概念，这些概念对于理解线性代数作为实际优化的构建模块至关重要，这也是本书的重点.
然而，本书对线性代数的处理必然是片面的，并且偏向有助于优化的模型. 因此，本书的线性代数部分并不能代替理论或数值线性代数的参考教科书.
在对线性代数和最优化的联合处理中，我们强调易于处理的模型而不是算法，重要的实际应用要胜过虚构的例子. 我们希望传达这样一个观点：就可靠性而言，应该将某些类型的优化问题与线性代数问题放在同一层面上考虑，即可以放心地使用可靠的模型，而不必太担心其内部的工作原理.
在撰写本书时，我们努力在数学的严谨性和内容的易懂性之间取得平衡. 与抽象或过于笼统的数学定义相比，我们更喜欢 “可操作” 的定义；与结果的全面详尽性相比，我们更倾向于结果的实际相关性. 大部分技巧性结论的证明都在本书中进行了详细说明，不过当证明本身被认为不是特别有启发性或与上下文没有什么关系时，就不会提供这些结果的证明.
阅读本书并不需要太多的预备知识. 基本上对几何和微积分（函数、导数和集合等）有基本的了解，以及具有概率和统计的基本知识（例如，概率分布和数学期望等）就可以阅读本书. 当然，如果对工程学或经济学有一定的了解，则可以帮助读者更好地理解本书中应用部分的内容.
本书大纲
本书第 1 章是对优化模型的概述和初步介绍，其中介绍了一些问题描述、特定模型、语境实例和优化理论的简要发展历史. 然后将本书分为三部分，如表 1 所示.
表 1 本书大纲
如今，这个领域处于许多学科的交叉点，从统计学到动态系统与控制、复杂性理论和算法.它的应用范围非常广泛，包括机器学习、信息检索、工程设计、经济学、金融学和管理学.随着海量数据集的出现，最优化现在被视为数据科学这一新兴领域的重要组成部分.
在过去的20年里，人们对最优化及其应用领域重新产生了兴趣.最令人振奋的发展之一是一类特殊的优化问题——凸优化.凸模型为开发用来求解最优化问题的软件提供了一个可靠且实用的平台.借助于对用户友好的软件包，建模人员现在可以快速开发出非常高效的代码来求解千奇百怪的凸问题.现在，我们可以像求解规模相似的线性方程组一样轻松地解决凸问题.扩大可处理问题的范围反过来又使我们能够开发出更有效的方法来求解困难的非凸问题.
与此同时，数值线性代数方向也有了很大发展.在20世纪80年代后期对计算机算法进行了一系列开创性工作之后，用户友好型平台如Matlab、R以及最近的Python相继出现，这允许多代用户快速开发代码来求解数值问题.如今，对于求解具有数千个变量和方程的数值线性系统的实际算法和技术的能力，只有少数专家还心存疑虑，其他人则认为求解方案及其底层算法是理所当然的.
优化，更确切地说是凸优化，目前也处于类似阶段.基于这些原因，大多数工科、经济学和理科专业的学生可能会发现，在他们的职业生涯中，有能力识别、简化、建模和解决自己工作中出现的问题非常重要，而实际上只有极少数学生需要研究数值算法的细节.考虑到这个问题，我们将“最优化模型：线性代数模型、凸优化模型及应用”作为本书的标题，以突出强调以下事实：本书专注于“理解”实际问题的性质并将其建模为可求解的优化范例——这是一门“艺术”（通常是通过发现问题中的“隐藏凸性”结构），而不是聚焦于数量众多的特定数值优化算法的技术细节.为了完整起见，本书提供了两个相关章节，一章介绍基本的线性代数算法，而另一章则广泛地讨论所选取的优化算法.不过，跳过这些章节并不会影响对本书其他部分的理解.
近年来，为了满足科学界对凸优化知识日益增长的需求，一些教科书相继出版.这些教科书大多是面向研究生的，其中的确包含了丰富的内容.但本书还包括以下区别于其他书籍的内容：
. 本书既可用于本科线性代数和最优化理论课程，也可用于研究生的凸建模和最优化入门课程.
. 本书侧重于以适当的最优化理论对实际问题建模，而不是解决数学最优化的算法问题，有关算法的内容分为两章：一章讨论矩阵基本计算，而另一章讨论凸优化.
. 本书大约有三分之一的内容在独立介绍线性代数的基本主题及其应用.
. 本书包括许多现实生活中的例子，有几章专门介绍实际应用.
. 我们不刻意讨论一般的非凸模型，但会介绍凸模型如何有助于求解一些特定的非凸模型.
我们选择线性代数作为本书的第一部分，主要有两个考虑. 其一是线性代数可能是凸优化最重要的组成部分. 扎实地掌握线性代数和矩阵理论对于理解凸性、建立凸模型和开发凸优化算法至关重要. 其二是考虑到本科生在线性代数课程中的感知差距. 很多（也许并不是大多数）线性代数教科书都侧重于抽象概念和算法，而介绍实际例子的内容较少. 这些教材常常使学生对线性代数的概念和问题有很好的理解，但并不能让学生完全理解这些问题会出现在什么地方，以及为什么会出现. 例如，根据我们的经验，很少有本科生意识到线性代数是迄今为止使用最广泛的机器学习算法的基础，比如 Google 的网络搜索引擎使用的 PageRank 算法.
另一个常见的困难是：根据这一领域的发展历史，大多数教科书都把大量的篇幅放在一般矩阵的特征值和 Jordan 标准型上. 它们也确实有许多相关的应用，例如在求解常微分方程组时. 但是，奇异值的主要概念（如果有）常常被放在最后几章. 因此，线性代数的经典教学遗漏了一些概念，这些概念对于理解线性代数作为实际优化的构建模块至关重要，这也是本书的重点.
然而，本书对线性代数的处理必然是片面的，并且偏向有助于优化的模型. 因此，本书的线性代数部分并不能代替理论或数值线性代数的参考教科书.
在对线性代数和最优化的联合处理中，我们强调易于处理的模型而不是算法，重要的实际应用要胜过虚构的例子. 我们希望传达这样一个观点：就可靠性而言，应该将某些类型的优化问题与线性代数问题放在同一层面上考虑，即可以放心地使用可靠的模型，而不必太担心其内部的工作原理.
在撰写本书时，我们努力在数学的严谨性和内容的易懂性之间取得平衡. 与抽象或过于笼统的数学定义相比，我们更喜欢 “可操作” 的定义；与结果的全面详尽性相比，我们更倾向于结果的实际相关性. 大部分技巧性结论的证明都在本书中进行了详细说明，不过当证明本身被认为不是特别有启发性或与上下文没有什么关系时，就不会提供这些结果的证明.
阅读本书并不需要太多的预备知识. 基本上对几何和微积分（函数、导数和集合等）有基本的了解，以及具有概率和统计的基本知识（例如，概率分布和数学期望等）就可以阅读本书. 当然，如果对工程学或经济学有一定的了解，则可以帮助读者更好地理解本书中应用部分的内容.
本书大纲
本书第 1 章是对优化模型的概述和初步介绍，其中介绍了一些问题描述、特定模型、语境实例和优化理论的简要发展历史. 然后将本书分为三部分，如表 1 所示.
表 1 本书大纲
媒体评论
“本书对现代数学最优化理论及其广泛应用提供了极佳的入门介绍。作者带领仅掌握基础微积分知识的本科生，从学习线性代数开始，一直到深入了解现代最优化理论在机器学习、图像处理、控制和金融领域的应用。到目前为止，只有某些领域的研究生和少数敢于面对这些令人生畏的知识的本科生能够掌握这些方法。本书中数学理论与实际应用的无缝衔接、实际问题的建模以及精妙的算法将会吸引一大批读者。”--斯蒂芬·博伊德（Stephen Boyd）,美国斯坦福大学
本书强调对特定算法技术的实际理解,侧重于介绍最优化领域中功能强大且便于计算的凸优化技术。相关专业的学生和从业人员将从本书中学习如何识别、简化、建模以及求解相关最优化问题，并将其中暗含的基本原理应用到自己的项目中。
本书对线性代数做了清晰而完整的介绍。通过引入相关的实际案例,以易于理解且形象的方式给读者展示核心的数学概念,并帮助其领会问题的实际意义。本书在易理解性和数学严谨性之间取得了一种恰当的平衡，使读者能够快速通晓书中内容，而不会淹没在复杂的数学推导中。
书中每章结尾提供大量习题，以及来自工程、数据科学、经济、金融和管理等不同领域的各种案例。对本科生和研究生而言，本书是学习最优化理论不可多得的入门教材。
本书强调对特定算法技术的实际理解,侧重于介绍最优化领域中功能强大且便于计算的凸优化技术。相关专业的学生和从业人员将从本书中学习如何识别、简化、建模以及求解相关最优化问题，并将其中暗含的基本原理应用到自己的项目中。
本书对线性代数做了清晰而完整的介绍。通过引入相关的实际案例,以易于理解且形象的方式给读者展示核心的数学概念,并帮助其领会问题的实际意义。本书在易理解性和数学严谨性之间取得了一种恰当的平衡，使读者能够快速通晓书中内容，而不会淹没在复杂的数学推导中。
书中每章结尾提供大量习题，以及来自工程、数据科学、经济、金融和管理等不同领域的各种案例。对本科生和研究生而言，本书是学习最优化理论不可多得的入门教材。
