矩阵分析 (一) 线性空间和线性变换

1,873 阅读5分钟

我的微信公众号名称:深度学习与先进智能决策 微信公众号ID:MultiAgent1024 公众号介绍:主要研究分享深度学习、机器博弈、强化学习等相关内容!期待您的关注,欢迎一起学习交流进步!

  我们曾在线性代数里学过向量空间,它是由向量做成的集合。在这个集合里向量可以相加,向量可以乘以一个倍数,由此我们可以讨论向量的线性组合、向量的线性相关等概念。

线性空间的概念

线性空间

  • 定义1.1:数域:一个对和、差、积、商运算都封闭的复数的非空集合P称为数域

  • 定义1.2:设V是一个非空的集合,如果在V中定义二元运算(加法),

    • V中任意两个元素\alpha,\beta经过这个运算结果仍是V中的一个元素,这个元素称为\alpha\beta,记\alpha + \beta
    • 在数域PV之间定义一个运算叫作数量乘法,即对于P中的任意数kV中的任意一个元素\alpha,经过这一运算的结果仍然是V中的一个元素,称为k\alpha数量乘积,记k\alpha

  如果上述运算满足以下规则,则称V为数域P上的线性空间V中的元素也称为向量。

  1. 对任意的\alpha\beta \in V,则称V为数域P上的线性空间,V中的元素也称为向量。
  2. 对任意的\alpha\beta, \gamma\in V,(\alpha + \beta) + \gamma = \alpha + (\beta + \gamma)
  3. V中存在一个零元素,记作0,对任意的\alpha + 0 = \alpha
  4. 对任意的\alpha \in V,都有\alpha的负元素,记作-\alpha;
  5. 对任意的\alpha \in V,有1 \cdot \alpha = \alpha;
  6. 对任意的\alpha \in Vk,l \in Pk(l \alpha) = (kl)\alpha;
  7. 对任意的\alpha \in Vk,l \in P(k+l)\alpha = k \alpha + l\alpha
  8. 对任意的k \in P\alpha,\beta \in Vk(\alpha+\beta) = k \alpha + k\beta

线性空间的例子,基底、坐标

  • 定义1.3:(线性相关)在V中有一组元素\alpha_{1}\alpha_{2}\cdots\alpha_{n}线性无关,且其他元素都可以被它们线性表达,则称\alpha_{1}\alpha_{2}\cdots\alpha_{n}V的一组n为空间V的维数,记作dimV=n,而表达式的系数是这个元素的坐标

  • 例题: 求P_{3}[t]中多项式1+t+t^{2}在基底1,t-1(t-2)(t-1)下的坐标:

  解:

1+t+t^{2} = k_{1} \times 1+k_{2} \times (t-1) + k_{3}(t-2)(t-1)

  令其对应项相等即可。

基变换与坐标变换

  一般来说,一个元素在不同的基底下有不同的坐标,它们的坐标有什么关系呢?

  设VP上的n维线性空间,\alpha_{1}\alpha_{2}\cdots\alpha_{n}\beta_{1}\beta_{2}\cdots\beta_{n}V的两个不同的基底,因为\alpha_{1}\alpha_{2}\cdots\alpha_{n}是基底,所以\beta_{1}\beta_{2}\cdots\beta_{n}可以被这个基底线性表达,这两个基底的关系是:

(\beta_{1},\beta_{2},\cdots,\beta_{n})
=(\alpha_{1},\alpha_{2},\cdots,\alpha_{n})A

  利用过渡矩阵就可以得到这个元素的两个坐标之间的关系:

\alpha=\left(\beta_{1}, \beta_{2}, \cdots, \beta_{n}\right)\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array}\right)
=\left(\alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) A\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array}\right)
=\left( \alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)
\left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{2}}\end{array} \right)=A\left(\begin{array}{c}{l_{1}} \\ {l_{2}} \\ {\vdots} \\ {l_{n}}\end{array} \right)

子空间和维数定理

子空间及生成方式

  我们知道三维线性空间R^{3}的二维平面R^{2}也是一个线性空间,这种类型的空间叫作子空间

  • 定义1.5:设V是数域P上的线性空间WV的非空子集,如果W对于线性空间V所定义的加法运算及数乘运算也构成P上的线性空间,则称WV线性子空间简称子空间

  • 定理1.1:设WP上的线性空间V的非空子集,则WV线性子空间的充要条件是: 1):若\alpha,\beta \in W,则\alpha + \beta \in W; 2):若\alpha \in Wk \in P,则k\alpha \in W\{0\}V本身也是V的子空间,这两个子空间是V平凡子空间

  • \alpha_{1}\alpha_{2}\cdots\alpha_{m}V上的m个元素,由这m个元素的任意组合构成的集合\{k_{1}\alpha_{1}+\cdots+k_{m}\alpha_{m}\}V中的加法及数乘封闭,因而这个子集是V中的子空间。记作:

L(\alpha_{1},\alpha_{2},\cdots,\alpha_{m})
  • 用原有的子空间生成新的子空间的方法: 1):设V_{1}V_{2}V的子空间,则V_{1} \cap V_{2}V的子空间,叫做两个子空间的交子空间。 2):设V_{1}V_{2}V的子空间,V_{1}+V_{2}也是V的子空间,这里:
V_{1}+V_{2}=\{\alpha_{1}+\alpha_{2}|\alpha_{1} \in V_{1},\alpha_{2} \in V_{2}\}

  这个子空间叫做V_{1}V_{2}和子空间

维数定理

  由两个子空间V_{1}V_{2}生成的子空间的维数dim(V_{1}+V_{2}),dim(V_{1} \cap V_{2})与原来的子空间的维数之间有一个关系,称之为维数定理,即:

dimV_{1}+dimV_{2}
=dim(V_{1}+V_{2})+dim(V_{1} \cap V_{2})
  • 定理1.2V_{1}+V_{2}直和的充要条件是V_{1} \cap V_{2} = \{0\}

  这个几个概念比较重要,需要记住。

线性空间中的线性变换

  • 定义1.6:设TV上的变换,如果对于任意的\alpha\beta \in Vk \in P都有:
T(\alpha + \beta)=T\alpha + T\beta
T(k\alpha)=kT\alpha

  则称TV上的线性变换。线性变换保持V上的运算。

  上面这个线性变换的公式需要记住,经常会考这个改变以及以下变种。比如下文的线性变换的矩阵的公式:

  由:

(\varepsilon_{1},\varepsilon_{2},\varepsilon_{3} ) = (e_{1},e_{2},e_{3})C

  能得到:

T(\varepsilon_{1},\varepsilon_{2},\varepsilon_{3} ) = T(e_{1},e_{2},e_{3})C

  这时如果知道:

T(\varepsilon_{1},\varepsilon_{2},\varepsilon_{3} ) = (\varepsilon_{1},\varepsilon_{2},\varepsilon_{3} ) A

  即可求出:

T(e_{1},e_{2},e_{3}) = T(\varepsilon_{1},\varepsilon_{2},\varepsilon_{3} ) C^{-1}

  等于:

T(e_{1},e_{2},e_{3}) = (\varepsilon_{1},\varepsilon_{2},\varepsilon_{3} ) A C^{-1}

  等于:

T(e_{1},e_{2},e_{3}) =  (e_{1},e_{2},e_{3})CA C^{-1}
  • 零变换单位变换也是线性变换零变换是把所有元素变成零的变换,单位变换是把每个元素映射成自己的变换。

  • 线性变换作为一种运算也可以组合,如果T_{1}T_{2}是线性变换,则:

(T_{1}+T_{2})\alpha =T_{1}\alpha+T_{2}\alpha_{}, \\
(kT_{1})\alpha=k(T_{1}\alpha)

  可以证明,线性空间中的所有线性变换也做成一个线性空间,记作L(V)

  • 即用线性变换,定义的子空间,一个是像子空间,一个是核子空间。 TV=\{T\alpha|\alpha \in V\} T^{-1}(0)=kerT=\{\alpha|\alpha \in V,T\alpha=0\}

  像子空间是由V中所有元素的像构成的,即任取\beta \in TV,则一定存在\alpha \in V,使得\beta=T\alpha

  核子空间是由所有\alpha中的一些元素构成的,这些元素在线性变换的作用下是零。

  • 定理1.3(维数定理):设Tn维空间上的线性变换,则
dimTV+dimT^{-1}(0)=n

线性变换的矩阵

  V上的所有线性变换构成的子空间是一个比较抽象的空间,我们知道一些具体的线性变换,但是任意一个线性变换是什么样子的,怎么表达呢?

  设\alpha \in V

\alpha = \sum_{i=1}^{n} k_{i}\alpha_{i}=\left( \alpha_{1}, \alpha_{2}, \cdots, \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)
T\alpha=\left( T \alpha_{1},T \alpha_{2}, \cdots, T \alpha_{n}\right) \left(\begin{array}{c}{k_{1}} \\ {k_{2}} \\ {\vdots} \\ {k_{n}}\end{array} \right)
=\sum_{i=1}^{n} k_{i}T\alpha_{i}

  可以看出,决定线性变换结果的是:

T\alpha_{1},T\alpha_{2} \cdots ,T\alpha_{n}

  即基底在这个线性变换之下变成了什么形式。

  因为T\alpha_{1},T\alpha_{2} \cdots ,T\alpha_{n},仍然是V中的元素,当然可以被V的基底表达:

\left\{\begin{array}{l}{T \boldsymbol{\alpha}_{1}=a_{11} \boldsymbol{\alpha}_{1}+\cdots+a_{n 1} \boldsymbol{\alpha}_{n}} \\ {T \boldsymbol{\alpha}_{2}=a_{12} \boldsymbol{\alpha}_{1}+\cdots+\boldsymbol{\alpha}_{n 2} \boldsymbol{\alpha}_{n}} \\ {\vdots} \\ {T \boldsymbol{\alpha}_{n}=a_{1 n} \boldsymbol{\alpha}_{1}+\cdots+a_{n n} \boldsymbol{\alpha}_{n}}\end{array}\right.

  A=(a_{ij})_{n\times n}为线性变换T在基底\alpha_{1},\cdots,\alpha_{n}下的矩阵。

  可见每一个线性变换实际上与一个矩阵相对应,反过来,每一个矩阵也对应一个线性变换,即给定一个矩阵A,只要定义:

\left( T \alpha_{1},T \alpha_{2}, \cdots, T \alpha_{n}\right)=(\alpha_{1},\alpha_{2},\cdots,\alpha_{n})A

  则这个矩阵对应一个线性变换。