Linear Maps

本章是整本书内容最多的章节。很多基本概念都在这里详细论述

3.A The Vector Space of Linear Maps

1. 从 $V$ 到 $W$ 的所有映射定义为 $L(V,W)$

2. 当满足以下条件时
   $dim(V)\equiv dim(W),Tv_j=w_j\quad j\in {1,2,\cdots, n}$ ,
   只有一个 $T:V\rightarrow W$，使 $V\rightarrow W$ 满足以上条件.

   • 加入有连个 $T,H$ 可以满足条件 $Tv_j=w_j,Hv_j=w_j$
     $T(c_1v_1+c_2v_2+\cdots+c_nv_n)=c_1w_1+c_2w_2+\cdots+c_nw_n$
     $H(c_1v_1+c_2v_2+\cdots+c_nv_n)=c_1w_1+c_2w_2+\cdots+c_nw_n$

   • 由于 $v_1,v_2,\cdots,v_n$ 是非线性相关的所以 $T,H$
     实际上是同一个映射

3. $L(V,M)$ 本身也是一个向量空间

4. $T(0)=0$

   • $T(0)=T(0+0)=T(0)+T(0)\Rightarrow T(0)=0$

3.B Null Spaces and Ranges

1. 定义 null space, $null\bm{T}$
   $null\bm{T}=\{v\in \bm{V}:\bm{T}v=0\}$ null space $\equiv$
   kernel

2. 如果 $T\in L(V,W)$.那么 $T$ 单射的充分必要条件为 $null\bm{T}=\{0\}$

   • 如果 $T$
     如果单射那么，因为 $T(0)=0$,那么单射只能是 $null\bm{T}=\{0\}$.

   • 令 $null\bm{T}=\{0\}$， 但是如果 $v_1,v_2\in V, v_1\neq v_2$
     通过 $T$ 映射到相同的 $w$。也就是说 $T(v_1-v_2)=0$。但是我们得到
     $v_1\equiv v_2$，与假设矛盾。

3. range的定义 $range\bm{T}=\{\bm{Tv}:\bm{v}\in \bm{V}\}$

4. $range\bm{T}$ 是 $W$ 的一个子空间.

5. $dim(V)=dim (null\bm{T})+dim (range\bm{T})$, $T\in L(V,W)$

   • 令 $u_1,u_2,\cdots,u_m$ 是 $null\bm{T}$的一组基,并且
     $u_1,u_2,\cdots,u_m,v_1,v_2,\cdots,v_n$ 是 $V$ 的一组基

   • 那么 $dim(V)=m+n,dim(null\bm{T})=m$.也就是需要证明
     $dim(range\bm{T})=n$ 也就是说 $Tv_1,Tv_2,\cdots,Tv_n$ 是
     $range\bm{T}$ 的一 组基

   • 任意
     $w\in W\equiv Tv=T(a_1u_1+a_2u_2+\cdots+a_mu_m+b_1v_1+b_2b_2+\cdots+b_nv_n)$
     $w\equiv Tv=T(b_1v_1+b_2v_2+\cdots+b_nv_n)=T(b_1v_1)+T(b_2v_2)+\cdots+T(b_nv_n)$
     也就是说 $T(b_1v_1),T(b_2v_2),\cdots,T(b_nv_n)$ spans $W$,
     因为 $u_i$都映射到 0上面去了。

   • 令 $c_1Tv_1+c_2Tv_2+\cdots+c_nTv_n=0$ 也就是说
     $cv_1+cv_2+\cdots+c_nv_n\in null\bm{T}$.那么下面的等式成立。
     $c_1v_1+c_2v_2+\cdots+c_nv_n=d_1u_1+d_2u_2+\cdots+d_mu_m$ all
     但是 $c_j$ and $d_j$ 应该都是 0,因为 $v_j$ 和 $u_j$ 非线性相关.

   • 最后，我们根据 $c_1Tv_1+c_2Tv_2+\cdots+c_nTv_n=0$,成立的条件是所有
     $c_i$都等于0可得, 我们的假设成立。

6. 如果 $dim(V)>dim(W)$ 那么不存在从 $V$ 到 $W$ 的单射

   • $dim (null\bm{T})=dim(V)-dim (range\bm{T})\geqslant dim(V)-dim(W)>0$

   • 因为必定有两个或者连个以上的向量映射到0向量。

7. 同理 $dim(V)<dim(W)$ 那么不存在从 $V$ 到 $W$ 的满射。

8. 齐次线性方程组中，如果变量的个数多于方程的个数。则一定有非 零解。

   • 方程组的系数构成一个变换 $T$ from $F^n\rightarrow F^m$, $n>m$.

   • 也即是说， $null \bm{T}$肯定是不只含有 $\{0\}$，所以必然含有非0向量。也就
     是说，方程组有非零解。

9. 非齐次线性方程组，当变量的个数小于方程组的个数时，再适当的系数情况下是，可以没有解。

   • 不是满射。固然存在某些系数使得方程组没有解。和上一个定理基本一样的原理。

3.C Matrices

1. $\bm{Tv}_k=\sum_{j=1}^{m}\bm{A}_{j,k}\bm{w}_j$

2. 假如 $S,T\in L(V,W)$. 那么 $M(S+T)=M(S)+M(T)$

3. 假如 $\lambda\in \bm{F}$ 和 $T\in L(V,W)$. 那么 $M(\lambda \bm{T})=\lambda M(\bm{T})$，其中M是一个函数，是一个将映射转化为矩阵的函数

4. 所有的 m-by-n 矩阵定义为 $\bm{F}^{m,n}$

5. $dim \bm{F}^{m,n}=mn$

   • The $\bm{0}$ element is $\left[ \begin{array}{cccc} 0 & 0 & \cdots & 0 \\ 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & \vdots \\ 0 & 0 & \cdots & 0 \end{array} \right]$

   • The basis of $\bm{F}^{m,n}$ is $\left[ \begin{array}{cccc} 1 & 0 & \cdots & 0 \\ 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & \vdots \\ 0 & 0 & \cdots & 0 \end{array} \right], \left[ \begin{array}{cccc} 0 & 1 & \cdots & 0 \\ 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & \vdots \\ 0 & 0 & \cdots & 0 \end{array} \right],\cdots, \left[ \begin{array}{cccc} 0 & 0 & \cdots & 0 \\ 0 & 0 & \cdots & 0 \\ \vdots & \vdots & \vdots & \vdots \\ 0 & 0 & \cdots & 1 \end{array} \right]$

   • It means that $dim\bm{F}^{m,n}=mn$

6. Matrices Multiplication $(AC)_k=\sum_{r=1}^{n}A_{j,r}C_{r,k}$

7. If $T\in L(U,V),S\in L(V,W)$, then $M(ST)=M(S)M(T)$

Invertibility and Isomorphic Vector Spaces

Invertible Linear Maps

1. 任何一个可逆线性映射的逆只有一个。
   $S_1=S_1I=S_1(TS_2)=(S_1T)S_2=IS_2=S_2$

2. 一个线性映射可逆的充分必要条件是这个线性映射满射和单射。

   • 从一个方向证明，先令 $T$ 是一个可逆线性映射.

     • 令 $u,v\in V$，假设 $Tu=Tv$ then
       $u=T^{-1}(Tu)=T^{-1}(Tv)=v$ 有此可见， $T$是一个单射

     • 对于任意 $w\in W$. 由 $w=T(T^{-1}w)$, 可得
       $range\bm{T}=W$。可见T是一 个满射

   • 再从另一个方向，先令 $T$ 是一个满射和单射.对于任意 $w\in W$,定义
     $Sw$ 是 $V$ 中唯一使得 $T(Sw)=w$ 成立的向量
     $T((S\circ T)v)=(T\circ S)(Tv)=I(Tv)=Tv$

     由此可见T是一个可逆的线性映射

Isomorphic Vector Spaces

1. 同构的定义：两个空间 $V,W$同构，就是说，存在一个可逆矩阵 $T$使得, $V\rightarrow W$

2. 两个向量空间是同构的，充分必要条件是两个空间的维度相同

   • 从一个方向证明。如果 $V,M$ 同构，而且映射的名字是 $T$

     • 因为同构，单射和满射则 $null \bm{T}=0$和 $range\bm{T}=W$

     • $dim(V)=dim(null\bm{T})+dim(range\bm{T})\Rightarrow dim(V)=dim(W)$

   • 从另一个方向 $dim(V)=dim(W)$.

     • 令 $v_1,v_2,\cdots,v_n$ 是 $V$ 的一组基,令
       $w_1,w_2,\cdots,w_n$ 是 $W$ 的一组基

     • 定义一个映射
       $T(c_1v_1+c_2v_2+\cdots+c_nv_n)=c_1w_1+c_2w_2+\cdots+c_nw_n$

     • 可以很容易的证明上面的映射 $T$是满射和单射。

3. $L(V,W)$ 和 $\bm{F}^{m,n}$ 同构

   • $M$ 是一个函数，且 $M(T),T\in L(V,W)$ 是 $\bm{F}^{m,n}$
     中的元素.也就是 $M(T)\in \bm{F}^{m,n}$

   • 需要证明 $null \bm{M} = 0$ 也就是只有一个
     $T\in L(V,W),M(T)=\bm{0},\bm{0}\in \bm{F}^{m,n}$

   • $Tv_j=0,\forall j\in \{1,2,\cdots,n\}$,因为 $v_1,v_2,\cdots,v_n$
     非线性
     相关所以，没有非0的 $T$,可以使所有的 $Tv_j=0$。这就是说， $null \bm{M}=0$,
     于是M就是单射的。

   • 令 $A\in \bm{F}^{m,n}$, $Tv_k=\sum_{j=1}^{m}A_{j,k}w_j$
     也就是说
     $M(T)=A\Rightarrow range\bm{M}=\bm{F}^{m,n}$.这说明 $M$是满射

4. $dim(L(V,W))=dim(V)dim(W)$

   • $dim(L(V,W))=dim \bm{F}^{m,n}$

Linear Maps Thought of as Matrix Multiplication

1. $v_1,v_2,\cdots,v_n$ 是 $V$ 的一组基. $M(v)=\left( \begin{array}{c} c_1 \\ c_2 \\ \vdots \\ c_n \end{array} \right)$ 其中 $c_1,c_2,\cdots,c_n$ 使得
   $v=c_1v_1+c_2v_2+\cdots+c_nv_n$

2. 根据定义可得 $M(T)_{.,k}=M(Tv_k)$

3. $T\in L(V,W),v\in V$ , 假设 $v_1,v_2,\cdots,v_n$ 是 $V$ 的一组基。而
   $w_1,w_2,\cdots, w_m$是 $W$的一组基。那么 $M(Tv)=M(T)M(v)$

   • $Tv=c_1Tv_1+c_2Tv_2+\cdots+c_nTv_n$

   • $M(Tv)=c_1M(Tv_1)+c_2M(Tv_2)+\cdots+c_nM(Tv_n)=c_1M(T)_{.,1}+\cdots+c_nM(T)_{.,n}=M(T)M(v)$

Operators

算子是非常重要的概念，后面和这本书，最重要的基础

1. 一个集合到其自身的线性映射叫做算子。

2. $L(V)=L(V,V)$ 是 $V$上的所有算子。

3. 假设 $V$是有限空间 $T\in L(V)$,那么下面的三个命题，互相等价。

   • T 是可逆的线性映射

   • T 是单射

   • T 是满射

   Proof

   • 有前面可逆矩线性变换的充要条件可得。 $T$
     可逆的充要条件为满射和单射。

   • $T$如果是单射。那么 $dim(null\bm{T})=0$那么根据
     $dim(range\bm{T})=dim(V)-dim(null\bm{T})=dim(V)$
     也就是 $T$满射，进而可以推出可逆。

4. 同理可以通过满射推导单射

3.E Products and Quotients of Vectors Spaces

Products of Vector Spaces

1. $V_1\times V_2\times \cdots \times V_m$ 的定义
   $V_1\times V_2\times \cdots \times V_m=\{(v_1,v_2,\cdots, v_m):v_1\in V_1,\cdots,v_m\in V_m\}$

2. 从定义很容易可以证明 $V_1\times V_2\times \cdots \times V_m$
   是一个向量空间

3. $dim(V_1\times V_2\times \cdots \times V_m)=dim(V_1)+dim(V_2)+\cdots+dim(V_m)$

   • 类似通过观察 $P_2(R)\times R^2$的基来证明这个问题

   • $(0,(0,0)),(x,(0,0)), (x^2,(0,0)),(0,(1,0)),(0,(0,1))$

   • 也就是说，当一个空间的基变化时，其它空间的基就为0

Products and Direct Sums

1. 首先定义映射 $\Gamma:U_1\times U_2\times \cdots \times U_m\rightarrow U_1+U_2+\cdots+U_m$是
   $\Gamma(u_1,u_2,\cdots,u_m)=u_1+u_2+\cdots+u_m$

   那么命题是： $U_1+U_2+\cdots+U_m$是直和的充要条件是 $\Gamma$是单射。

   • 前面1.C中 $U_1+U_2+\cdots+U_m$是直和的充要条件是 $u_1+u_2+\cdots+u_m=0$只
     有一个形式也就是 $u_j=0,j\in (1,2,\cdots,m)$

   • 从一个方向证明。 $U_1+U_2+\cdots+U_m$是直和，那么0的表示形式就只有一种。
     那么 $dim(null(\Gamma))=0$,那么 $\Gamma$就是单射

   • 从另一个方向证明,如果 $\Gamma$是单射，那么 $dim(null(\Gamma))=0$。进而我们
     可以得出0只有一种表示形式，那么 $U_1+U_2+\cdots+U_m$就是一个直和。

2. $U_1+U_2+\cdots+U_m$是直和的充要条件是
   $dim(U_1+U_2+\cdots+U_m)=dim(U_1)+dim(U_2)+\cdots+dim(U_m)$

   • 从一个方向证明：如果 $U_1+U_2+\cdots+U_m$是直积。那么 $\Gamma$是单射。也就
     是说 $dim(null \Gamma)=0$也即是说按照定理3.B得。
     $dim(U_1+U_2+\cdots+U_m)=dim(U_1\times U_2\times \cdots \times U_m)=dim(U_1)+\cdots+dim(U_m)$

   • 反之从另一个方向也是。

Quotients of Vector Spaces

1. $v+U$ 定义 $v+U=\{v+u:u\in U\}$

2. affine subset:（注意是affine subset，不是一个子空间，在 $v=0$的时
   候才是一个子空间），V的一个affine subset 被定义为： $v+U, v\in V$,
   $U$ 是 $V$ 的子空间。

3. 平行的定义： $v+U$平行于 $U$

4. quotient space $\bm{V/U}$ $V/U=\{v+U:v\in V\}$

5. 两个平行于 $U$的affine subset
   要么相等要么不想交。也就是说下面三个命题等价

   • $v-w\in U$

   • $v+U=w+U$

   • $(v+U)\cup (w+U)\neq \varnothing$

   可以用循环证明： $a\rightarrow b \rightarrow c \rightarrow a$
   这样就可以得到佐 证。

   proof

   1. $a\Rightarrow b$也就是 $v-w\in U \Rightarrow v+U=w+U$

      • $v+u=w+(v-w+u)\in w+U\Rightarrow v+U\subseteq w+U$

      • 同理 $w+U\subseteq v+U$

      • $w+U=v+U$

   2. $b\Rightarrow c$ 也就是 $v+U=w+U\Rightarrow (v+U)\cup (w+U)\neq \varnothing$ 这一步是定义就能证明

   3. $c\Rightarrow a$
      也就是 $(v+U)\cup (w+U)\neq \varnothing\Rightarrow v-w\in U$

      • $u_1,u_2\in U$

      • $v+u_1=w+u_2\Rightarrow v-w=u_2-u_1\in U$

6. $V/U$ 是一个向量空间

7. $\pi: V\rightarrow V/U$ 定义 $\pi(v)=v+U$

8. $dim(V/U)=dim(V)-dim(U)$

   • $null\pi = U$

   • $range\pi = V/U$

   • 根据先前的定理 $dim(V) = dim(U) +dim(V/U)$

9. $\tilde{T}:V/(nullT)\rightarrow W$ $\tilde{T}(v+nullT)=Tv$

10. 以下几个命题成立

    1. $\tilde{T}$ 是一个从 $V/nullT\rightarrow W$ 的线性映射

    2. $\tilde{T}$ 是单射

       • $\tilde{T}(v+nullT)=0\Rightarrow Tv=0\Rightarrow v\in nullT$

       • $v\in nullT\Rightarrow v+nullT=0+nullT\Rightarrow null\tilde{T}=0$

       • 也就是说这是一个单射

    3. $range\tilde{T}=range T$

       • 从定义中很容易看出来

    4. $V/nullT$ 和 $rangeT$ 同构

       • 从前面连个结论可惜看出， $V/(nullT)\rightarrow rangeT$是单射和满射。所以就可以得出两者同
         构

3.F Duality

The Dual Space and the Dual Map

1. 线性函数，定义为 $L(V,F)$

2. 对偶空间 $V^{'}$，从V到F的所有线性函数的集合 $V^{'}=L(V,F)$

3. $dimV^{'}=dimV$

   • $L(V,F)=dimV\times dimF=dimV\times 1=dimV$

4. 对偶空间的基的定义,对偶空间的基于 $V$空间的基有对应关系

   • 如果 $v_1,v_2,\cdots,v_n$是 $V$空间中的一组基，那么
     $\varphi_1,\cdots,\varphi_n$是 $V^{'}$的一组基，只要
     $\varphi_j(v_k)=\left\{ \begin{aligned} 1,k=j\\ 0,k\neq j \end{aligned} \right.$

5. 证明上面的定义是 $V^{'}$的一组基

   • $a_1\varphi_1+\cdots+a_n\varphi_n=0$

   • $(a_1\varphi_1+\cdots+a_n\varphi_n)(v_j)=a_j,j\in(1,2,\cdots,n)$都得是0

   • 那么只能是 $a_1=\cdots=a_n=0$

   • 这就证明了, $\varphi_1,\cdots,\varphi_n$是一组基。

6. 对偶映射， $L(V,W)$的对偶映射是 $L(W^{'},V^{'})$,其中
   $T^{'}(\varphi)=\varphi\circ T,\varphi \in W^{'}$

7. 对偶映射的性质

   • $(S+T)^{'}=S^{'}+T^{'}, S,T\in L(V,W)$

   • $(\lambda T)^{'}=\lambda T^{'}, T\in L(V,W)$

   • $(ST)^{'}=T^{'}S^{'},T\in L(U,V), S\in L(V,W)$

The Null Space and Range of the Dual of a linear Map

1. annihilator, $U^0$
   $U^{0}=\{\varphi\in V^{'}:\varphi(u)=0,u\in U\}$

2. $U^{0}$ 是 $V^{'}$的一个子空间

   • $\{0\}^{0}=V^{'}$

   • $V^{0}=\{0\}$

3. $dimU+dimU^0=dimV$

   • 假设 $i\in L(U,V)$定义为 $i(u)=u,u\in U$

   • $i^{'}$ 就是一个 $V^{'}\rightarrow U^{'}$的一个对偶映射。
     $dim(range(i^{'}))+dim(null(i^{'}))=dimV^{'}$

   • 从定义可知 $null i^{'}=U^{0}$ 因为
     $\varphi \in V^{'},\varphi\circ i (u)=0,u\in U$

   • $\varphi \in U^{'}$,这个 $\varphi$函数可以扩展为 $V^{'}$里的 $\varPsi$。也
     就是说 $i^{'}(\varPsi)=\varphi$, $range i^{'}=U^{'}$

   • 最后替换可得证。

4. $T^{'}$ 的null 空间。

   • $null T^{'}=(range T)^{0}$

     • $\varphi \in nullT^{'}\Rightarrow 0=T^{'}(\varphi)=\varphi\circ T$

     • 也就是说 $\varphi \in (rangeT)^{0}\Rightarrow nullT^{'}\subseteq (rangeT)^{0}$

     • $\varphi\in (rangeT)^{0}\Rightarrow \varphi(Tv)=0,\forall v\in V$

     • $0=\varphi\circ T=T^{'}(\varphi)\Rightarrow (rangeT)^{0}\subseteq nullT^{'}$

     • 最后结论是 $null T^{'}=(range T)^{0}$

   • $dim(nullT^{'})=dim(nullT)+dim(W)-dim(V)$ $\left\{ \begin{aligned} dim(nullT^{'})=&dim(rangeT)^0\\ =&dim(W)-dim(rangeT)\\ =&dim(W)-(dim(V)-dim(nullT))\\ =&dim(nullT)+dimW-dimV \end{aligned} \right.$

5. $T$ 是满射的充要条件是 $T^{'}$是单射

   • $T$是满射的充要条件是 $rangeT=W\Leftrightarrow (rangeT)^0=\{0\}$

   • $(rangeT)^0=\{0\}\Leftrightarrow nullT^{'}=\{0\}\Leftrightarrow T^{'}$是
     单射

6. The range of $T^{'}$

   • $dim(rangeT^{'})=dim(rangeT)$

     • $\left\{ \begin{aligned} dim(rangeT^{'})=& dimW^{'}-dim(nullT^{'})\\ =& dimW-dim(rangeT)^{0}\\ =& dim(rangeT) \end{aligned} \right.$

   • $rangeT^{'}=(nullT)^{0}$

     • $\varphi\in rangeT^{'},\varPsi\in W^{'},\varphi = T^{'}(\varPsi), v\in NullT$
       $\varPhi(v)=(T^{'}(\varPsi))v=(\varPsi\circ T)(v)=\varPsi(Tv)=\varPsi(0)=0$

     • 也就是说 $T^{'}\subseteq (nullT)^{0}$

     • $\left\{ \begin{aligned} dim rangeT^{'}=&dimrangeT\\ =& dim V-dim null T\\ =& dim(nullT)^0 \end{aligned} \right.$

7. $T$ 是单射的充分必要条件是 $T^{'}$是满射

   • $T$单射的充要条件是 $nullT=\{0\}$

   • $nullT=\{0\}\Leftrightarrow (nullT)^{0}=V^{'}\Leftrightarrow rangeT^{'}=V^{'}$

   • 也就是说 $T$ 是单射的充分必要条件是 $T^{'}$是满射

8. $M(T^{'})=(M(T))^{t}$

   • $T^{'}(\varPsi_j)=\sum_{r=1}^{n}C_{r,j}\varphi_r$

   • $(\varPsi_j\circ T)(v_k)=\sum_{r=1}^{n}C_{r,j}\varphi_r(v_k)=C_{k,j}$

   • $\begin{aligned} (\varPsi_j\circ T)(v_k)=&\varPsi_j(Tv_k)\\ =& \varPsi_j(\sum_{r=1}^{m}A_{r,k}w_r) \\ =& \sum_{r=1}^{m}A_{r,k}\varPsi_{j}(w_r)\\ =&A_{j,k} \end{aligned}$

9. $dim rangeT=M(T)$的列秩

   • $rangeT=span(Tv_1,Tv_2,\cdots,Tv_n)\Leftrightarrow dim rangeT=dim span(Tv_1,\cdots,Tv_n)=M(T)$的列秩。

10. 矩阵的行秩等于矩阵的列秩

    • $\begin{aligned} column-rank-of(M(T))=& dimrangeT\\ =& dim rangeT^{'}\\ =& column-rank-of(M(T^{'}))\\ =& column-rank-of(A^t)\\ =& row-rank-of(A) \end{aligned}$