---------------------------线性代数高级教程:矩阵理论及应用---------------------------
在重点关注数据采集以及数据分析的领域,线性代数与矩阵方法越来越显示出其重要性. 因此,这本书是为学习纯数学与应用数学、计算机科学、经济学、工程学、数学生物学、运筹学、物理学以及统计学的学生而写的. 假设读者学习过初级微积分系列课程以及线性代数第一教程.
本书值得注意的特点包括以下方面:
系统地用到分块矩阵.
强调了矩阵以及矩阵分解.
由于酉矩阵与可行且稳定的算法相关,所以本书中强调了涉及酉矩阵的变换.
贯穿全书有大量的例子.
用图形来说明线性代数的几何基础.
以短小精练的章节涵盖一学期课程的内容.
有许多章都包含了一些特殊的论题.
每一章都包含一节问题(总共有600多个问题).
注记一节提供了有关额外信息来源的参考资料.
每一章都总结了在该章中引进的重要概念.
本书中所用的符号都列在记号表中.
有超过1700条索引帮助读者确定概念与定义在书中出现的位置,这提高了本书作为参考资料的使用价值.
. 书中的矩阵与向量空间均相对于复数域而言. 使用复的向量使得对于特征值的研究更加便利,这也是与现代数值线性代数软件相吻合的. 此外,它还与在物理学(量子力学中复的波函数与Hermite矩阵)、电气工程(相位与振幅两者都重要的电路与信号分析)、统计学(时间序列与特征函数)以及计算机科学(快速Fourier变换、迭代算法中的收敛矩阵以及量子计算)中的应用密切相关.
学生在使用这本书学习线性代数时,可以观察并实际使用良好的数学交流技巧. 这些技巧包括:如何细心地陈述(以及阅读)一个定理;如何选择(以及利用)假设;怎样用归纳法、反证法,或者通过证明逆否命题来证明一个命题;如何通过减弱假设或者加强结论来改进一个定理;怎样利用反例;如何对一个问题写出有说服力的解答.
线性代数应用中的许多有用内容都超出了线性变换以及相似性的范围,所以它们不出现在采用算子方法的教材之中. 这些内容包括:
Gergorin 定理
Householder 矩阵
QR分解
分块矩阵
离散Fourier变换
循环矩阵
非负元素组成的矩阵(Markov矩阵)
奇异值分解与紧致奇异值分解
低秩逼近数据矩阵
广义逆(MoorePenrose逆)
半正定矩阵
Hadamard(逐个元素的)乘积与Kronecker(张量)乘积
矩阵范数
最小平方解与极小范数解
复对称阵
正规阵的惯性
特征值交错与奇异值交错
包含特征值、奇异值以及对角元素的不等式
这本书是按照如下方式组织的:
第0章复习初等线性代数的定义与结论.
第1章与第2章复习复的与实的向量空间,包括线性无关性、基、维数、秩以及线性变换的矩阵表示.
“第二教程”的内容从第3章开始,它建立了贯穿本书使用的分块矩阵范式.
第4章与第5章复习欧几里得平面上的几何,并利用它来派生出内积空间和赋范线性空间的公理. 内容包括正交向量、正交射影、标准正交基、正交化、Riesz表示定理、伴随以及Fourier级数理论的应用.
第6章引进了酉矩阵,在本书其余部分的结构中都要用到它. 在构造QR分解时要用到Householder矩阵,而QR分解在许多数值算法中都要用到.
第7章讨论正交射影、最佳逼近、线性方程组的最小平方(或极小范数)解,以及用QR分解来求解正规方程.
第8章介绍特征值、特征向量以及几何重数. 我们要证明,n×n复矩阵有1到n个相异的特征值,并且要用Gergorin定理来确定复平面中包含它们的一个区域.
第9章处理特征多项式以及代数重数. 我们为对角化建立了判别法,并定义了可对角化矩阵的初等矩阵函数. 内容包括Fibonacci数、AB与BA的特征值、换位子以及同时对角化.
第10章包括令人称奇的Schur定理:每一个方阵都与一个上三角阵(具有一个和交换族有关的结果)酉相似. Schur定理用来证明每个方阵都被它的特征多项式零化. 受后面这个结果的启发而产生了极小多项式这个概念以及对其性质的研究. 这里还证明了关于线性矩阵方程的Sylvester定理,并用它来证明每个方阵都与一个具有单谱对角分块的分块对角矩阵相似.
第11章建立在上一章的基础之上,它要证明每个方阵都相似于一个特殊的分块对角的上双对角矩阵(它的Jordan标准型),这个标准型除了其中直和项的排列次序之外是唯一的. Jordan标准型的应用包括线性微分方程组的初值问题、AB与BA的Jordan构造的分析、收敛矩阵与幂有界矩阵的特征刻画,以及元素为正的Markov矩阵的一个极限定理.
第12章讨论正规矩阵,即与其共轭转置可交换的矩阵. 谱定理说的是:矩阵是正规矩阵,当且仅当它可以酉对角化.已知这一结论的其他多个等价的表述. Hermite矩阵、斜Hermite矩阵、酉矩阵、实正交阵、实对称阵以及循环矩阵都是正规矩阵.
半正定阵是第13章的讨论对象. 这种矩阵是在统计学(相关矩阵以及正规方程)、力学(振动系统中的动能与势能)以及几何学(椭球体)中出现的. 内容包括平方根函数、Cholesky分解以及Hadamard乘积与Kronecker乘积.
第14章主要是奇异值分解,它是统计学、控制论、逼近论、图像压缩以及数据分析中许多现代数值算法的核心. 内容包括紧致奇异值分解与极分解,并特别关注这些分解的唯一性问题.
在第15章里,用奇异值分解来压缩图像或者压缩数据矩阵. 这一章里讨论的奇异值分解的其他应用有矩阵的广义逆(MoorePenrose逆)、奇异值与特征值之间的不等式、矩阵的谱范数、复对称矩阵以及幂等矩阵.
第16章研究加边的或者遵从一个附加摄动的Hermite矩阵的特征值交错现象. 相关的讨论包括奇异值的交错定理、正定性的行列式判别法以及刻画Hermite矩阵的特征值和对角元素的不等式. 我们要证明关于Hermite矩阵的Sylvester惯性定理以及关于正规矩阵的一个推广的惯性定理.
在前言后面有一个记号一览表. 在第16章后面有复数的复习资料以及一系列参考文献. 本书末尾附有详细的索引.
封面(指英文原书)图片是2002年纽约的一位艺术家LunYi Tsai所绘的一幅名为《又是夏天》的画,这位画家的工作常常受到数学题材的启发.
感谢Zachary Glassman做了许多图表,并回答了我们关于LaTex的问题.
感谢Dennis Merino、Russ Merris以及Zhongshan Li,他们仔细阅读了本书的初稿.
感谢2014年与2015年秋季参加第一作者在Pomona学院举办的高等线性代数课程的学生. 特别要感谢Ahmed Al Fares、Andreas Biekert、Andi Chen、Wanning Chen、Alex Cloud、Bill DeRose、Jacob Fiksel、Logan Gilbert、Sheridan Grant、Adam He、David Khatami、Cheng Wai Koo、Bo Li、Shiyue Li、Samantha Morrison、Nathanael Roy、Michael Someck、Sallie Walecka以及Wentao Yuan,他们指出了本书初稿中的若干错误.
还要特别感谢Ciaran Evans、Elizabeth Sarapata、Adam Starr以及Adam Waterbury对本书极其认真的审校.
S. R. G
R. A. H
---------------------------矩阵分析(原书第2版)---------------------------
第2版前言
第2版里保留了第1版的基本结构,因为它与我们的如下目标仍然一致:我们的目的是撰写“一部书,用有用的现代方法处理范围广泛的论题……它可以用作本科生或者研究生的教材,也可用作各类读者的自学参考书.”引号中的话取自第1版前言,该书当初所宣告的写作目的现在依然没有改变.
那么本书第2版有何不同之处呢?
标准型的核心作用在第2版将得以扩充,成为理解相似性(复的、实的以及同时相似)、酉等价、酉相似、相合、相合、酉相合、三角等价以及其他等价关系的统一性元素.对于本书考虑的许多不等式中等式出现的情形,也给予了更多的关注.在新版的阐述中处处都有分块矩阵出现.
学习数学从来都不像观看比赛那样被动地接受,所以在新版里继续强调了习题和问题对于积极主动型读者所具有的价值.本书自始至终都用大量2×2矩阵的例子来阐释概念.问题的线索(有一些问题跨越了几章的内容)发展成为特别的论题,成为正文中内容演化的基础.例如,有一些关于转置伴随矩阵、复合矩阵、有限维量子系统、Loewner椭球与Loewner-John矩阵以及可正规化矩阵的线索,见关于这些线索的参考文献的页面索引.第1版大约有690个问题,而第2版则有1100多个.许多问题带有提示,这些提示可以在恰好位于索引前面出现的附属材料中找到.
对一本书来说,一份详尽全面的索引是很重要的,这样在书起初作为教材用过之后,它还可以被用作参考资料.第1版的索引大约有1200个条目,而新版本的索引条目则超过3500个.在正文中遇到一个不熟悉的术语应该查询索引,在那里很可能会找到一个指向定义的指示(在第0章或者其他某个地方).
自1985年以来获得的新发现已经形成许多论题的现在的表述形式,它们还持续地刺激新的内容的加入.几个代表性的例子是:秩1摄动的Jordan标准型,它是由于受到学生对于Google矩阵的兴趣启发而产生的;实正规矩阵的推广(使得AA是实矩阵的正规矩阵A);关于同时酉相似或者同时酉相合的可计算的分块矩阵判别法;G.Belitskii发现的结论,即矩阵与Weyr标准型可交换,当且仅当它是分块上三角的,且有一种特殊的构造;由K.C.O’Meara和C.Vinsonhaler发现的,即与Jordan标准型对应的情形不同,交换族可以通过相似这样一种方式来实现同时上三角化,使得这个族中任何一个指定的矩阵都在Weyr标准型中;关于相合与相合的标准型.
来自许多读者的疑问促使我们对于某些论题的表达方式做出改变.例如,Lidskii的特征值优化不等式的讨论由原本专门讲述奇异值不等式的那一节转移到了讨论优化的这一节.幸运的是,Lidskii不等式现在有了由C.K.Li和R.Mathias给出的一个极为美妙的新证明,它与第4章的新方法完美地密切配合,给出关于Hermite矩阵的特征值不等式.第二个例子是Birkhoff定理的一个新的证明,它与第1版中给出的证明有完全不同的味道.
那些习惯于第1版中的论题排列次序的教师可能会对以下逐章简短介绍新版中不同之处的评述感兴趣.
第0章大约增加了75%的内容,其中包含了有用的概念以及结果的更为广泛的总结,目的是作为方便的参考资料.在整本书中用到的术语以及记号的定义都可在其中找到,但这一章里没有习题或者问题.正式的课程或者自学阅读通常从第1章开始.
第1章包含与相似以及特征多项式有关的新的例子,还进一步强调了左特征向量在矩阵分析中的作用.
第2章包含了有关实正交相似的一个详尽的阐述,对有关同时三角化的McCoy定理的一个说明,以及对特征值的连续性的一个严格的处理,它在本质上用到了Schur酉三角化定理的酉的以及三角的这两个方面.2.4节(Schur三角化定理的推论)的篇幅几乎是第1版中对应章节篇幅的2倍.有两节是新增加的,一节讨论奇异值分解,而另一节讨论CS分解.较早引入奇异值分解允许我们将矩阵分析的这个基本工具应用到本书其余部分.
第3章通过Weyr特征来处理Jordan标准型;它包含对于Weyr标准型及其酉不变量的一个说明,这些材料都不曾在第1版中出现.3.2节(Jordan标准型的推论)讨论了许多新的应用;它包含的材料要比第1版中对应的那一节多出60%的内容.
第4章对变分原理和关于Hermite矩阵的特征值不等式现在有一个用子空间的交给出的现代表述.对于与交错性以及其他经典结果有关的反问题,这一章里对它们的处理增加了很大的篇幅.它对酉相合的详细处理既包括了Youla定理(复方阵A在与AA的特征构造相伴的酉相合下的正规型),也包括了关于共轭正规矩阵、相合正规矩阵以及平方正规矩阵的标准型.它还给出了新近发现的关于相合与相合的标准型以及构造共轭特征空间的基的一种新算法的介绍.
第5章展开讨论了范数对偶,还包含许多新的问题以及对于半内积的处理,而半内积对讨论第7章中的有限维量子系统有应用价值.
第6章对Gersgorin定理“不相交的圆盘”这一部分有一个新的处理方式,重新组织了对特征值摄动的讨论,包括单重特征值的可微性.
第7章现在进行了重新组织:将奇异值分解放在第2章介绍.对极分解有一个新的处理方式,给出了一些与奇异值分解相关的新的分解,并特别强调了行与列的包容性.VonNewmann迹定理(通过Birkhoff定理证明的)现在成了奇异值分解的许多应用赖以存在的基础.如同关于正定矩阵的经典的行列式不等式那样,对Loewner偏序以及分块矩阵用新的技术详细进行了研究.
第8章用到第1章里介绍的有关左特征向量的结果,从而使得对于正的以及非负矩阵的Perron-Frobenius理论的阐述更为精简高效.
附录D包含了多项式零点以及矩阵特征值的新的用显式表达的摄动界限.
附录F用现代的表格形式列出了一对Hermite矩阵或者其中一个为对称矩阵另一个为斜对称矩阵这样一对矩阵的标准型.这些标准对是第4章里给出的相合以及相合标准型的应用.
对于书籍制作的技术感到好奇的读者,有可能也会对这本书是怎样由印度的一家公司从第1版的实体书通过手工造出一组LaTeX文件的制作过程感兴趣.那些文件利用了Scientific WorkPlace图形用户界面以及排版系统加以编辑修改.
第2版的封面艺术设计来自2003年春天从盐湖城乘达美航空公司的航班飞往洛杉矶途中的一次幸运邂逅.坐在中间座位上的一位年轻人说他是画抽象画的艺术家,他的画作的灵感有时候来自于数学.在友好交谈的过程中,他显露出他特别欣赏的数学领域是线性代数,而且他还曾经学过矩阵分析.在我们相互对这次会面的机缘表示惊叹且进行了一次愉快的讨论之后,我们认同合适的封面艺术设计会提高第2版的视觉吸引力;他说他愿意寄一些东西供我参考.在约定的期间从西雅图寄来一个包裹.里面有一封信以及一张令人喜之不胜的4.5英寸×5英寸的照片,背面显示它是2002年绘于画布上的一幅72英寸×66英寸油画的图片.那封信上说:“这幅画的标题是Surprised Again on the Diagonal,它的灵感来自于数学(无论是几何、分析、代数、集合论还是逻辑)中对角线的反复盛行.我认为它会给你的优秀著作增添吸引力.”Lun-Yi Tsai,为了你杰出的封面设计,谢谢你!
自从本书的第1版于1985年问世以来,大量的学生、教师以及同行都对推进这部书新版的形成有所贡献.这里要特别对以下各位表示谢意:T.Ando,Wayne Barrett,Ignat Domanov,Jim Fill,Carlos Martins da Fonseca,Tatiana Gerasimova,Geoffrey Goodson,Robert Guralnick,Thomas Hawkins,Eugene Herman,Khakim Ikramov,Ilse Ipsen,Dennis C.Jespersen,Hideki Kosaki,Zhongshan Li,Teck C.Lim,Ross A.Lippert,Roy Mathias,Dennis Merino,Arnold Neumaier,Kevin O’Meara,Peter Rosenthal,Vladimir Sergeichuk,Wasin So,Hugo Woerdeman以及Fuzhen Zhang.
R.A.H.
第1版前言
线性代数以及矩阵理论长期以来既是数学各个分支的基本工具,也有理由自身成为研究的肥沃土壤.在这部书中,以及在与之相伴的另一卷书《Topics in Matrix Analysis》中,我们要讲述矩阵分析的那些已被证明对应用数学极为重要的经典结论以及新近发现的结果.本书可以用作本科生或者研究生的教材,也可用作各类读者的自学参考书.我们要求读者掌握相当于一学期的初等线性代数课程以及有关基本分析概念的知识.我们的讲述从特征值以及特征向量开始,不要求事先了解这些概念.
超出初等线性代数课程范围的有关矩阵的知识对于从实质上理解数学科学的任一领域(无论是微分方程、概率统计、最优化,还是在理论和应用经济学、工程学以及运筹学中的应用,等等)都是必需的.但直到最近,还有众多必要的材料仅散见于(甚至根本就没有出现在)本科生以及研究生的教学计划中.鉴于人们对应用数学的兴趣日益高涨,有更多的课程专门研究高等矩阵论,正如同需要有关这一题材的现代参考资料一样,显而易见也需要一部教材以提供广泛选择的论题.
关于矩阵论已经有几部备受喜爱的经典著作,但它们不太适合一般的课堂使用,也不适合用于系统地自学.这些书缺少问题,不注重应用,没有激发读者的学习动力;索引不完善,一些传统参考资料的读者用过时的陈旧方法会遇到困难.更为现代的书籍倾向于要么是初等的教材,要么是讨论特殊专题的专著.我们的目的是撰写一部书,用有用的现代方法处理范围广泛的论题.
“矩阵分析”的一种观点是:矩阵分析的论题由线性代数中那些因为数学分析(如多元微积分、复变量、微分方程、最优化以及逼近论)的需要而产生的内容组成.另一种观点是:矩阵分析是解决实的与复的线性代数问题的一种途径,它会毫不犹豫地采用分析中的概念(如极限、连续以及幂级数),只要这些概念看起来比纯粹的代数方法更有效且更自然.矩阵分析的这两种观点在本书论题的选择以及处理方法上都有所体现.我们更倾向于用线性代数的矩阵分析这样的术语来作为这个领域中广泛的范围以及研究方法的确切表达.
为了复习以及方便查阅,在第0章介绍了初等线性代数的必备知识以及其他一些虽然未必初等但却是有用的结果.第1~3章主要介绍可能包含在线性代数或者矩阵论的第二课程中的核心内容:特征值、特征向量和相似性的基本处理;酉相似、Schur三角化及其含义,正规矩阵;标准型与分解,包括Jordan型、LU分解、QR分解以及友矩阵.除此之外,每章都相当独立地做了展开,而且对主要的论题都做了有某种深度的处理.
1.Hermite矩阵与复对称矩阵(第4章).我们重点介绍研究Hermite矩阵的特征值的变分方法,包括优化概念的简要介绍.
2.向量与矩阵上的范数(第5章).它们对于数值线性代数算法的误差分析以及矩阵幂级数与迭代过程的研究来说都是很重要的.我们在一定程度上详细讨论了范数的代数、几何以及解析性质,并对依赖于矩阵范数的次积性公理的矩阵的范数结果以及与矩阵范数的次积性公理无关的矩阵的范数结果做了仔细的区分.
3.特征值位置以及摄动的结果(第6章).这是对于一般性的(不一定是Hermite)矩阵来讨论的,并且在许多应用中都是重要的.我们对于Gersgorin区域的理论、它的某些现代改进以及相关的图论概念做了详细的介绍.
4.正定矩阵(第7章)以及它们的应用,包括不等式,都用一定的篇幅做了介绍.极分解以及奇异值分解的讨论也包含其中,同时还讨论了在矩阵逼近问题中的应用.
5.逐个元素非负的以及正的矩阵(第8章)出现在许多应用中,在这些应用中(概率论、经济学和工程学等)必定会出现非负的量,而且它们引人注目的理论也推动了应用.我们对于非负的、正的、本原的以及不可约的矩阵的理论展开的方式是以利用范数的初等方式进行的.
在本书的姊妹篇中,我们处理了一些同样值得关注的论题:值域和推广,惯性指数、稳定矩阵、M矩阵和有关的特殊类型,矩阵方程、Kronecker乘积和Hadamard乘积,将函数与矩阵联系起来的各种方法.
根据特定的读者对象选取适宜的章节,本书可作为一学期或两学期的课程的基础素材.我们建议教师根据特定课程的需要事先对本书的章节以及章节中的部分内容做审慎的选择.这大概会包括第1章、第2章和第3章的绝大部分,第4章和第5章中关于Hermite矩阵以及范数的内容.
大多数章节都包含一些较为专业或者非传统的内容.例如,第2章不仅包括Schur关于单独一个矩阵酉三角化的基本定理,而且也讨论了矩阵族的同时三角化.在关于酉等价那一节里,介绍了常见的结果之后我们还讨论了两个矩阵成为酉等价的迹条件.第4章中关于复对称矩阵的讨论提供了与Hermite矩阵的经典理论不尽相同的补充及对照.在每章的开始几节里给出一个论题的基本内容,而在这些章节的结尾或者在该章的后面几节中再来做更为精细的讨论.这样的策略有一种好处:它可以按照顺序对论题加以讨论,提高了本书作为参考书的价值.它还给教师提供了广泛选择的余地.
本书所讨论的许多结果对于定义在其他的域或者定义在某种更为广泛的代数结构上的矩阵是正确的,或者是可以推广成为正确的.不过,我们有意限于在实数域或者复数域中讨论,在这些域中,可以利用熟知的经典分析方法以及形式代数技巧.
尽管我们一般考虑的矩阵都有复的元素,但大多数的例子仅限于实的矩阵,所以不要求掌握高深的复分析知识.熟悉复数的算术运算对于理解矩阵分析就够用了,附录中涵盖了所必需的知识内容.其他简要的附录则覆盖了一些次要的但仍然基本的论题,例如Weierstrass定理以及凸性.
我们在本书中加入了许多习题和问题,因为我们认为这些东西对于逐步理解书中的论题及其内涵是至关重要的.习题是自始至终作为每节的内容的一部分呈现的;一般而言它们是初等的,直接用于理解概念.我们建议读者至少动手做其中的大部分.每一节的最后列出了一些问题(没有特别的次序),涉及一系列难题和典型题(从理论到计算),它们有可能是对论题的一种拓广,展现特别的内容,或者对重要的想法提供其他可供选择的证明.对于更为困难的问题则给出有意义的提示.有些问题的结果可能要参考其他问题或正文本身的内容.我们特别强调,读者要积极参与完成习题以及求解问题.
虽然本书自身并不讨论应用,但为了阐述动机,我们在每一章的开始一节会概述几个应用问题,以期引入这一章的主题.
如果读者希望查阅所论述的主题的其他处理方式以及与之相关的资料,可以参看附录后面所列出的参考文献.
书中所列出的参考文献并非包罗万象.在一部有多个一般论题的著作中,迫于篇幅有限的缘故,我们在正文中对引用文献的数量做了最小化处理.仅选取了我们明显用到其结果的少量论文作为参考文献出现在绝大多数章节的末尾,并伴随一个简明扼要的讨论,但是我们并未试图对经典的结果搜集相关的历史文献.更为广泛的图书文献资料在我们推荐参考的更为专门的著作中可以找到.
感谢我们的同事以及学生们提供有助益的建议,他们对作为本书前期脚本的课堂笔记以及初始手稿提出了修改意见.他们当中包括Wayne Barrett,Leroy Beasley,Bryan Cain,David Carlson,Dipa Choudhury,Risana Chowdhury,Yoo Pyo Hong,Dmitry Krass,Dale Olesky,Stephen Pierce,Leiba Rodman以及Pauline van den Driessche.
R.A.Horn
C.R.Johnson