0%

矩阵杂谈

本文主要是一些关于矩阵的相对初等的内容,是考研期间做的完整考研线性代数归纳总结,目的是方便查阅。现在来看,这篇文章的主要任务是收纳若干关于矩阵的初级线性代数知识与技巧,对于线性空间、线性变换等内容,暂不涉及。在作者看来,这一部分的知识里理论的成分居多,读者如有需求,还是直接参考专业的线性代数或高等代数教材为好。

作者本科专业是数学与应用数学,后在学院内转去了统计学 (数理方向),有一定的数学基础,所以最基本的概念等本文就不再赘述了😊例如矩阵转置及其性质、矩阵逆的定义等等。

本文集作者所学同时参考了大量的文献和网络资料,在整理和归纳时难免有所纰漏,如果发现有错误的内容可以邮件联系我以订正。

本文中凡是没有特别指明的,都限制在实数域上讨论。如果需要在线做一些矩阵运算,个人推荐 WolframApha;如果需要做一系列复杂矩阵运算,个人推荐 Mathematica。

矩阵

(数字) 矩阵只是一个数表,作者看来没有所谓本质:他只是一张表,我们要往里面装什么东西,比如实数、复数、矩阵甚至随机变量,或是定义某种“奇形怪状”的新运算,都是可行的——“矩阵是什么”这个问题,取决于“我们希望用矩阵做什么”;如果一定要问出个“本质”来,那可能是线性变换吧;尽管矩阵也可以代表一个线性方程组(的系数),(数字) 矩阵的某些性质从该角度看更为直观。如果把矩阵看成向量组,那么一些向量组问题的答案瞬间便水落石出。矩阵还有许多其他作用,在不同的场景下有不同的任务,这里就不一一列举了。

矩阵的关系

众所周知,左乘初等矩阵等于做相应的行变换,右乘初等矩阵等于做相应的列变换,那么什么时候只能做行变换,什么时候只能做列变换呢?

一般而言:

  • 当把矩阵视为列向量的排列后,如果要直接确定线性相关的列向量之间的数量关系(例如已知某向量可以同时被两组向量线性表出,求该向量的值),则只能做初等列变换,因为只有列变换才是列向量间而不是其分量间的线性组合,保持了列向量的代数结构(但是可能会改变线性相关式的系数);
  • 当把矩阵视为列向量的排列后,如果要确定列向量的极大线性无关组(也可以是判断线性相关性),则只能做初等行变换,因为就线性相关性而言,矩阵的行秩等于列秩,但如果做初等列变换就会改变列向量的位置,从而无法确定本来的列向量组中到底谁和谁线性相关;
  • 当把矩阵视为线性方程的系数表时,如果要通过高斯消元法解方程,则只能做初等行变换,因为线性方程整体相加减不改变解的值,但如果做列变换则相当于把一个未知数的系数加到了另一个未知数上,破坏了线性方程的结构;

到底该行变换还是列变换,只是取决于目的是什么。例如第一个例子“已知某向量可以同时被两组向量线性表出,求该向量的值”,既可以将两个向量组视为列向量的排列而做初等列变换,也可以等价地认为两组向量依次列成的矩阵与那个可以被同时表出的向量构成的方程组有解,从而利用高斯消元法对做初等行变换。

矩阵等价

  • 矩阵等价:如果矩阵可以经有限次初等变换得到,则(矩阵等价)

    上述条件等价于存在一系列初等矩阵,使得

    注:矩阵乘法按“左行右列”规则计算,表现为做乘时是用左边的行向量点乘右边的列向量得到新矩阵的一个元素,也表现为左乘初等矩阵则对原矩阵做相应行变换、右乘初等矩阵则对原矩阵做相应列变换

  • 同型矩阵等价的充要条件是秩相等(判断方法,矩阵等价的充要条件)

    联系到定义:初等矩阵总是满秩而可逆的

  • 若矩阵可逆则一定与等价,从特征值角度看是特征值均非零,因此行列式不为,故矩阵可逆;从初等矩阵角度看,他可以被视作为有限个代表初等行列变换的初等矩阵的复合(矩阵乘法),即可以由经过有限次初等变换得到;也可以说该矩阵的对角矩阵一定为

  • 如果实矩阵等价,那么不一定等价,除非中有一个矩阵为可逆矩阵

    如果实矩阵等价,那么也不一定等价,除非中有一个矩阵为可逆矩阵

    如果实对称阵合同,那么合同

    如果实对称阵相似,那么相似

    之所以对两个等价的矩阵不一定有等价,是因为尽管的特征值相等,但二者的秩却不一定相等。进一步讲,更本质的原因是二者零特征值的几何重数不一定相等。也就是说,即使相似,从而的零特征值有相同的代数重数与几何重数,则只能得出的零特征值有相同的代数重数,但其几何重数可能是不相等的。对于命题“也不一定等价”,原因同理;

    最经典的例子是: 其中

    这个例子十分经典,务必了解

矩阵合同

  • 矩阵合同:合同一定等价

  • 矩阵合同:若存在可逆阵,使得,则(矩阵合同)

    其中称为的合同变换,实对称矩阵经合同变换还是实对称矩阵

    合同变换不要求都是对称阵,但对称阵经合同变换只能是对称阵,非对称阵经合同变换只能是非对称阵

  • 对称矩阵合同:对称矩阵若相似则一定合同

  • 对称矩阵合同的充要条件:正负惯性指数相等;规范型相同

  • 实对称矩阵与他的逆合同,即二者具有相同的规范型,这是因为

  • 合同变换不改变正负惯性指数

  • 等价关系:矩阵等价、相似与合同都是广义上的

  • 等价关系(所以也有人认为矩阵等价应该译作相抵,以免与逻辑关系上的等价冲突),均满足自反性、对称性与传递性

  • 相似必然合同,但合同不一定相似

  • 在欧氏空间中,合同变换体现为在平面到自身的一一变换下,任意线段的长和它的像的长总相等

  • 正交变换是一种合同变换

  • 更多的内容将在后文二次型理论中提到

矩阵相似

补充定义:

  代数重数,指特征值在特征方程中作为根的重数;

  几何重数,指特征值对应的特征向量生成空间的维数,或者说是对应特征向量的极大线性无关组中向量个数;

  几何重数必然小于或等于代数重数

  • 矩阵相似:相似一定等价

  • 矩阵相似:若存在可逆阵,使得,则(矩阵相似)

    上述条件等价于存在一系列初等矩阵,使得

    其中称为的相似变换

  • 矩阵相似的充要条件:有相同的初等因子 / 有相同的Jordan标准型

  • 如果两个矩阵均可被相似对角化且都相似于同一对角阵,则两矩阵必然相似

  • 仅对实对称矩阵而言,相似的充要条件是有相同的特征值,因为他们都相似于同一对角矩阵

  • 对一般的矩阵而言,有相似的特征值只是相似的必要条件,即使特征值和特征向量均完全相同,也不一定相似,除非加上条件:两矩阵均可相似对角化,这也是为什么实对称矩阵有相同特征值便相似的原因(实对称矩阵必能相似对角化)

  • 由上可推出,相似必然合同,但合同不一定相似

  • 相似变换不改变特征值

    • 自然也不改变迹和行列式
    • ,则
  • 相似变换:同⼀个线性变换在不同基下的表示矩阵相似,这是相似的另一种定义

  • 特征值相等,且的特征向量等于

  • 能相似对角化的两矩阵,若特征值相等则可以导出相似

  • 判定一般矩阵是否相似:

    1. 先检查迹,应当相等,迹如果都不一样就没必要进一步讨论了,必然不相似
    2. 验证⾏列式是否相等,若不相等则不相似
    3. 观察是否均可对角化,若其中一个可以对角化而另一个不能,则不相似
    4. 再判断秩,应该相等,若不相等则不相似
    5. 接着验证特征值是否均相等,若不相等则不相似(对实对称矩阵而言是充要的)
    6. 得到特征值后,观察的行列式与秩是否相等(若相似,则这⼆者必相似,反之也成⽴)
    7. 以上均为必要条件,矩阵相似没有简单而通用的判断方法,除非计算Jordan标准型或初等因子,但对于笔算而言计算量过于大了;不过,通常到第 6 步时相似性已经能够判断
  • 矩阵的转置与⾃身相似,即

    如果两矩阵相似,则他们的转置阵相似,即如果,则

    如果两矩阵相似且可逆,则他们的逆矩阵相似,即如果存在,则

    如果两矩阵相似,则他们的伴随矩阵相似,即如果,则

    综上所述,如果矩阵相似,则他们的任意次转置、逆与伴随所复合的矩阵也相似

  • 并不一定相似,即使二者一定有相同的特征多项式与特征值

    尽管可以证明二者特征值的代数重数必然相等,但几何重数却不一定相等,这也导致了连秩都可能是不同的

    就算都是阶可逆矩阵也不一定相似,但如果都是阶实对称阵就可以断言必有相似了

  • 为什么有的矩阵特征值相同,却不相似?因为各特征值的代数重数相同,几何重数却不一定相同。即,两个线性变换的特征值相同只代表他们的缩放倍率相同,但缩放方向可能不同,那么他们就可能并不是同一个线性变换,简单例子如,二者特征值均为,即都会产生“压缩”,但前者是将平行四边形“压”成点,而后者仅是“压”成线,缩放效果不同,对应的特征向量也不相同。更一般的,即使特征值相同、二者的对应的代数重数与几何重数也都相同,矩阵也不一定相似。“充要”的办法,还是只能考虑初等因子和Jordan标准型,但计算量十分地大;如果两个矩阵均可相似对角化,且特征方程相同 / 特征值相同,则两矩阵相似。

矩阵的逆

  • 矩阵求逆的四种基本⽅法:

    1. 公式法,针对⼆阶⽅阵的简便算法:

    2. 伴随矩阵法,通⽤但麻烦:,重要性更多地体现在理论上

      本章末给出了该方法的改进计算法,使得计算时不必再考虑代数余子式的符号的问题

    3. 初等变换法,即高斯消元法,,有行变换与列变换两种方法:

      • 行变换方法:将矩阵作为分块,右接单位阵进行增广,即,经初等行变化将左分块变为时得到结果(可以看作整体左乘的结果,这是为什么只能进初等行变换的原因),再”取出“逆矩阵即可;这种方法可以推广到求,对进行同样的操作即可

      • 列变化方法:下接,然后做相应的初等列变换即可

      实际上右接是在“记录”将化为时的行变换,下接则在“记录”列变换;换一个角度看,对于,左乘即得,由于左乘对应初等行变换,所以将用初等行变换化为时右边剩余的部分即为。对分块矩阵也可以类似操作,但是在试图利用分块阵的逆时要注意子阵是否可逆呦!

    4. 在计算机中,使用LU分解法、SVD分解法、QR分解法更容易处理,而且适合并行计算

  • 逆与与转置可交换;与指数也可交换;与伴随也可交换,即

  • 基本初等矩阵的逆:

    1. 交换某两行或某两列,由于交换两次后恢复原矩阵,因此逆就是自身

    2. 某一行或某一列倍乘),逆是主对角线上的那个取其倒数,其余元素不变

    3. 某一行(某一列)倍乘后加到另一行(另一列),逆是非主对角线上的那个取其相反数,其余元素不变

    很多时候,利用初等矩阵的逆与对应的初等变换来计算矩阵乘法,能够极大地减少计算量

    对于复合的初等矩阵,也可以这样逐步操作求逆,但是一定要调换顺序,因为

    因此,本来是在矩阵左边乘起来的行变换,在式子取逆后也就变成了右乘,这时他是相应的列变换

  • 分块矩阵的逆:参见另一篇文章线性回归的理论与应用的附录: 分块矩阵的逆 部分,在此给出最简单的分块矩阵的逆:

    • 均为可逆矩阵时(不要求同阶),有,其实这可以通过复合初等变换直接得到
    • 均为可逆矩阵时(不要求同阶),有
    • 均为可逆矩阵时(不要求为方阵),有
  • 任何阶可逆方阵,逆一定是的多项式,且该多项式的形式不唯一;如果限定该多项式最高次小于极小多项式次数,则多项式是唯一存在的(不断乘上特征多项式,总能用更高次的多项式表示

    任何阶方阵,伴随矩阵一定是的多项式,对不可逆情形可以考虑摄动法证明

  • 对于三阶矩阵的伴随矩阵 / 逆矩阵,有一些相对而言更方便的计算方法。这里给出一种可以在计算中不用考虑代数余子式符号的计算法,以计算矩阵的逆为例:

    1. 首先将矩阵拓展至列,其中第列分别照抄原矩阵的第列,即

    2. 接着将新矩阵再拓展至行,其中第行分别照抄新矩阵的第行,即

    3. 划去第行与第列不考虑,即

    4. 接着计算新矩阵的每个相邻行列的二阶主子式,共计个,他们相对位置的值分别就是对应位置元素的值,也就是说,不妨记新矩阵为,则 分别计算,可以得到 二阶行列式是很好计算的,不难得

    5. 如果要进一步计算原矩阵的逆,按伴随矩阵与逆矩阵的关系,计算出行列式然后代入即可。但这里并不需要在从出发计算,根据行列式的辅因子展开,直接用的第一行点乘的第一行结果即是(乘其他行或者乘列当然也都是可行的),所以 因此 这一方法的“好”在于不用考虑恼人的符号了

矩阵的秩

  • 矩阵秩的等价定义:秩等于……

    1. 最⾼阶不为零⼦式的阶数
    2. ⾏向量组或列向量组的极⼤线性⽆关组中所含向量个数
    3. 列数减去解空间的维数(kernel的维数)
      • 或者说是减去基础解系中自由变量的个数
      • 或者说是减去线性无关解的个数
    4. 是方阵时,秩等于阶数减去零特征值的特征子空间维数
      • 或者说是阶数减去零特征值的几何重数
    5. 线性变换值域(image,像空间)的维数,即
  • 欲求一个具体矩阵的秩,做初等行(列)变换将矩阵化为行(列)阶梯型矩阵不失为一个好办法

  • 矩阵秩的等式与不等式:

    1. 的列数或的行数

      万分注意,并不是零矩阵的行数或列数而是的列数或的行数。例如,假设矩阵、矩阵,若有,则,该不等式与零矩阵的形状没有任何关系!

    2. 列满秩,则矩阵左乘列满秩矩阵 / 右乘行满秩矩阵不改变秩

    3. 阶矩阵

  • 伴随矩阵的秩:对于阶方阵

  • 一般而言,对于等价的阶矩阵不一定成立,即使有相同的特征多项式与特征值——因为的充要条件是的零特征值的代数重数相同、几何重数也相同,但通常来说只有零特征值的代数重数必然相同,几何重数是不一定相同的;

    同理也不一定成立这在前文是已经有所提及的;

    在后文“特征值、特征向量与特征子空间”中会给出秩与特征值、特征子空间的关系,实际上方阵的秩等于阶数减去零特征值的几何重数,这样一来为何存在就显而易见了;也可以知道。由此可以导出推论:

    • 如果均满秩,则

    • 如果均有个线性无关的特征向量,则

    的一个经典例子是:

    具有相同的秩,容易验证:

    这个例子十分重要,在本文已经是第二次出现了

线性变换与特殊矩阵

  • 正交变换:是一种线性变换,定义是从实或复的内积空间映射到自身且保持内积不变的变换。由于模长与夹角是用内积定义的,所以正交变换不改变图形的面积、大小,标准正交基经正交变换后仍为标准正交基。注意,在有限维空间下正交变换不一定等价于正交矩阵,从标准正交基变换到另一组标准正交基的过渡矩阵才是正交矩阵。在欧式空间中,正交变换只包含瑕旋转

  • 正交矩阵:,在上表现为;正交矩阵的特点是行或列向量间正交,且长度均为。正交矩阵的特征值只可能为,这体现在正交变换不改变图形大小,即仅包含旋转与反射及其组合。正交矩阵的特征值只可能为,结合正交变换的性质这是容易理解的

  • 判断正交矩阵,除了验证是否有、行列向量是否两两正交,最简便的办法是先看看各行或列平方和是否为,如果不是则必然不是正交矩阵

  • 正交矩阵的逆矩阵也是正交矩阵,正交矩阵的伴随矩阵也是正交矩阵

  • 双线性函数:是内积的推广;和线性函数类似,在有限维线性空间中,由他对基的作用而唯一确定

  • 合同变换:互相合同的矩阵,是双线性函数在不同基下的度量矩阵

  • 矩阵合同:矩阵的合同变换,可以认为是对行列同时施加相同的操作

  • 正交变换系合同变换

  • 相似变换:在欧式空间中体现为图形的形状不变,尽管大小、方向与位置都可能改变;在矩阵的相似变换体现是两矩阵相似。相似变换实际上是同一个线性变换在不同基下的度量矩阵

矩阵杂例

特殊矩阵

  • 伴随矩阵,其中的代数余子式

    • 伴随矩阵的伴随矩阵:

    • 将伴随与转置视为算子,则他们是可交换的:;与逆同样是可交换的,