线性代数 Linear Algebra

这一章节总结了线性代数的一些基础知识，包括向量、矩阵及其属性和计算方法。

线性代数 Linear Algebra

向量 Vectors

性质 Basic rules

r + s = s + r
r · s = s · r
r · (s + t)=r · s + r · t

向量点积 Cosine rule

(r - s)² = r² + s² - 2r · s · cosθ

投影 Projection

标量投影 Scalar projection

_r · s =

× cosθ_

$proj_r^s=\frac{r\cdot s}{|r|}$

可以通过向量点乘的原理的来理解这一点，假设 r 是在坐标系 i 上的向量（ r_j=0 ）。那么 _r · s = r_is_i + r_js_j = r_is_i = r s_i_ ，其中 _s_i = s · cosθ_ ，所以 _r · s = r · s · cosθ_

向量投影 Vector projection

s 往 r 上的投影向量如下，同样可以用上图来0解释

$proj_r^s=\frac{r\cdot s}{|r|\times|r|}r$

转换参考系

向量基变更 Vector change basis

对于在坐标系 (e₁, e₂) 上的向量 r，把它的坐标点映射到 (b₁,b₂) ，r 在新的坐标系中的坐标点是

$\left[\frac{r\cdot b_1}{|b_1|^2},\frac{r\cdot b_2}{|b_2|^2}\right]^T$

在上面的例子中，$r = \begin{bmatrix} 2 \ 0.5 \end{bmatrix}$.

计算 r 的Python 代码

import numpy as np;
def change_basis(v, b1, b2):
    return [np.dot(v, b1)/np.inner(b1,b1), (np.dot(v, b2)/np.inner(b2,b2))]

v, b1, b2 = np.array([1,  1]), np.array([1,  0]), np.array([0,  2])

change_basis(v, b1, b2)

Linear independent 线性无关

如果 r 和 s 是线性无关的，对于任何 α， r ≠ α · s。

Matrices 矩阵

Transformation 矩阵变换

矩阵 E=[e₁ e₂] 和一个向量 v 相乘可以理解为把 v 在 e₁, e₂ 的坐标系上重新投影

$\begin{bmatrix}1&0\\0&1\end{bmatrix}\cdot\begin{bmatrix}x\\y\end{bmatrix}=\begin{bmatrix}x\\y\end{bmatrix}$

矩阵与旋转角度 θ 之间的关系

转换矩阵为

$\begin{bmatrix}cos\theta&sin\theta\\-sin\theta&cos\theta\end{bmatrix}$

矩阵秩 Matrix Rank

矩阵 A 的列秩是 A 的线性无关的纵列的极大数目。行秩是 A 的线性无关的横行的极大数目。其列秩和行秩总是相等的，称作矩阵 A 的秩。通常表示为 r(A)或rank(A)。

逆矩阵 Matrix inverse

高斯消元法到找到逆矩阵

\[A^{-1}A = I\]

行列式 Determinant

矩阵 A 的行列式表示为 det(A) 或 _

_ .

对于矩阵 $A=\begin{bmatrix}a&b\\c&d\end{bmatrix}$ _

=a d-c d_

一个矩阵的行列式就是一个平行多面体的（定向的）体积，这个多面体的每条边对应着对应矩阵的列。 —— 俄国数学家阿诺尔德（Vladimir Arnold）《论数学教育》

行列式 det(A) = 0 的方阵一定是不可逆的。

矩阵乘法 Matrix multiplication

$\begin{bmatrix}a_{11}&a_{12}&\ldots&a_{1n}\\a_{21}&a_{22}& \ldots&a_{2n}\\ \vdots&\vdots&\ddots&\vdots\\a_{m1}&a_{m2}& \ldots&a_{mn}\end{bmatrix} \cdot \begin{bmatrix} b_{11}&a_{12}&\ldots&b_{1p}\\b_{21}&b_{22}& \ldots&b_{2p}\\ \vdots&\vdots&\ddots&\vdots\\b_{n1}&b_{n2}& \ldots&b_{np}\end{bmatrix} =\begin{bmatrix} c_{11}&c_{12}&\ldots&c_{1p}\\c_{21}&c_{22}& \ldots&c_{2p}\\ \vdots&\vdots&\ddots&\vdots\\c_{m1}&c_{m2} &\ldots&c_{mp}\end{bmatrix}$

$c_{ij}=\sum_{k=1}^{n}a_{ik}b_{kj}$

矩阵基变更 Matrices changing basis

对于矩阵 A 和 B , A · B 可以认为是把 B 的坐标系变换到 A 中。

Transform (rotate) R in B’s coordinates: B^-1RB

正交矩阵 Orthogonal matrices

正交矩阵是一个方块矩阵 A，其元素为实数，而且行向量与列向量皆为正交的单位向量，使得该矩阵的转置矩阵为其逆矩阵。

如果 A 是正交矩阵，那么 AA^T=I ， A^T=A^-1 。

格拉姆-施密特正交化 The Gram–Schmidt process

如果内积空间上的一组向量能够组成一个子空间，那么这一组向量就称为这个子空间的一个基。Gram－Schmidt正交化提供了一种方法，能够通过这一子空间上的一个基得出子空间的一个正交基，并可进一步求出对应的标准正交基。

Gram-Schmidt 正交化过程，它是一个用于将一组向量转化为一组正交（且可能是单位正交）向量的数学方法。简而言之，它提供了通过正交化将一组线性无关的向量转换为正交基的方法

经过上述过程后，对于任何 i, j ， β_i β_j = 0 。（在经过正交化过程后，所有得到的正交基向量之间的点积（内积）为零，意味着它们是正交的。）

Reflecting in a plane

特征向量和特征值 Eigenvectors and Eigenvalues

对于一个给定的方阵 A，它的特征向量（eigenvector）v 经过这个线性变换之后，得到的新向量仍然与原来的 v 保持在同一条直线上，但其长度或方向也许会改变。它们满足： Av = λv。

λ 为标量，即特征向量的长度在该线性变换下缩放的比例，称 λ 为其特征值。

在上面这个图像变换的例子中，红色箭头改变方向，但蓝色箭头不改变方向。蓝色箭头是此剪切映射的特征向量，因为它不会改变方向，并且由于其长度不变，因此其特征值为1。

根据线性方程组理论，为了使这个方程有非零解，矩阵 A 的行列式 det(A - λI)=0 必须是零。

例如，矩阵 A 为 $\begin{pmatrix} a & b \\ c & d \end{pmatrix}$ ，那么

$\det\left(\begin{pmatrix}a&b\\c&d\end{pmatrix}-\begin{pmatrix}\lambda & 0\\0&\lambda\end{pmatrix}\right)=0$

λ²-(a+d)λ+ad-bc=0 ，得到 λ 并计算特征向量。

特征值分解（Eigenvalue Decomposition）中的基变换（Changing the Eigenbasis）

$\begin{align*} C&=\begin{pmatrix}x_1&x_2&x_3\\ \vdots&\vdots&\vdots\end{pmatrix}, D=\begin{pmatrix}\lambda_1&0&0\\0&\lambda_2&0\\0&0&\lambda_3\end{pmatrix}, T^n=\begin{pmatrix}a^n&0&0\\0&b^n&0\\0&0&c^n\end{pmatrix}\\ T&=CDC^{-1}\\ T^2&=CDC^{-1}CDC^{-1}=CD^2C^{-1}\\ T^n&=CD^nC^{-1} \end{align*}$

其中，C 是特征向量(eigenvectors)，$D$由特征值(eigenvalues)构成.

一个例子：

$\begin{align*} T&=\begin{pmatrix}1&1\\0&2\end{pmatrix},C=\begin{pmatrix}1&1\\0&1\end{pmatrix},C^{-1}=\begin{pmatrix} 1 & -1 \\0&1\end{pmatrix},D=\begin{pmatrix}1&0\\0&2\end{pmatrix}\\ T^2&=\begin{pmatrix}1&1\\0&1\end{pmatrix}\begin{pmatrix}1&0\\0&2\end{pmatrix}^{2}\begin{pmatrix} 1&-1\\0&1\end{pmatrix}=\begin{pmatrix}1&3\\0&4\end{pmatrix} \end{align*}$

特征值的属性

如 λ 为 A 的特征值， x 是 A 的属于 λ 的特征向量：

λ 也是 A^T 的特征值；
λ^m 也是 A^m 的特征值（m是任意常数）；
A 可逆时，λ^-1 是 A^-1 的特征值；