点积、叉积、矩阵行列式详解、线性相关与线性无关、矩阵的秩、矩阵可逆与不可逆详解

1.点积（Dot Product）

1.1 定义

对于两个向量$u=(u_1,u_2,u_3),v=(v_1,v_2,v_3)$
点积定义为：$u\cdot v=u_1{v}_1+u_2{v}_2+u_3{v}_3$

1.2 几何意义

点积也可以写成：$u\cdot v=\Vert u\Vert \Vert v\Vert cos\theta$
其中$\theta$是向量$u,v$之间的夹角。

• 如果$\theta <90^{\circ }：$点积$>0$
• 如果$\theta =90^{\circ }：$点积$=0$(正交)
• 如果$\theta >90^{\circ }：$点积<0

直观：点积 = 一个向量在另一个向量方向上的投影 × 长度。

1.3 主要应用

• 判断向量是否垂直（点积=0）
• 机器学习里：相似度度量（余弦相似度）

2.叉积（Cross Product）

2.1 定义（仅在三维空间有意义）

对于两个三维向量$u=(u_1,u_2,u_3),v=(v_1,v_2,v_3)$
叉积定义为：
$u\times v=\left|\begin{array}{ccc}\mathbf{i}& \mathbf{j}& \mathbf{k}\\ u_1& u_2& u_3\\ v_1& v_2& v_3\end{array}\right|=(u_2{v}_3-u_3{v}_2,u_3{v}_1-u_1{v}_3,u_1{v}_2-u_2{v}_1)$

2.2 几何意义

• 方向：$u\times v$垂直于$u$和$v$所在的平面（右手定则，四指并拢，拇指竖起，四指指向$u$的方向，手掌旋转，从$u$旋转到$v$,拇指竖直指向叉积的方向。）
• 长度：$\Vert u\times v\Vert =\Vert u\Vert \Vert v\Vert sin\theta$，等于“以$u,v$为边的平行四边形面积”。
  
  直观：叉积 = 给出“垂直方向 + 面积大小”的向量。

2.3 主要应用

• 计算面积：$|u\times v|=$平行四边形面积
• 计算体积：$|u\cdot (v\times w)|=$平行六面体体积

3.矩阵行列式

3.1 从二维出发（面积）

考虑二维矩阵：$A=\left[\begin{array}{cc}a& b\\ c& d\end{array}\right]$
它把单位正方形的两个基向量：$e_1=\left[\begin{array}{c}1\\ 0\end{array}\right],e_2=\left[\begin{array}{c}0\\ 1\end{array}\right]$
变换为：$A{e}_1=\left[\begin{array}{c}a\\ c\end{array}\right],A{e}_2=\left[\begin{array}{c}b\\ d\end{array}\right]$
所以正方形变成了一个平行四边形，它的面积是：$Area=|ad-bc|$，也就是$A{e}_1，A{e}_2$两个向量做叉积的绝对值，即$Area=|A{e}_1\times A{e}_2|$
这正好是$|det(A)|,A$的行列式的绝对值。
在二维，行列式就是单位正方形被矩阵变换后的面积缩放因子。

3.2 三维情况（体积）

三维矩阵：$A=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]$
把单位立方体的三个基向量映射到新的三个向量：$v_1=(a,d,g{)}^T,v_2=(b,e,h{)}^T,v_3=(c,f,i{)}^T$
这三个向量张成一个平行六面体，它的体积由三重积给出：
$V=|v_1\cdot (v_2\times v_3)|=|(a,d,g)\cdot ((b,e,h)\times (c,f,i))|$
这个结果恰好就是$|det(A)|$

证明：
$v_2\times v_3=\left[\begin{array}{ccc}\mathbf{i}& \mathbf{j}& \mathbf{k}\\ b& e& h\\ c& f& i\end{array}\right]=(ei-hf,hc-bi,bf-ec)$
$$\begin{gathered} v_1\cdot (v_2\times v_3)=a(ei-hf)+d(hc-bi)+g(bf-ec) \\ =aei-ahf+dhc-dbi+gbf-gec \\ =a(ei-hf)-b(di-fg)+c(dh-eg) \end{gathered}$$
$\therefore |v_1\cdot (v_2\times v_3)|=|det(A)|$
在三维，行列式就是体积的伸缩因子。

$V=v_2\times v_3$，其中$V$的长度为$v_2，v_3$两个向量组成的平行四边形面积，这在叉积中有图作说明，而$V$的方向垂直于$v_2，v_3$所构成的平面。
$v_1\cdot V=|v_1||V|cos\theta ，|v_1|cos\theta$代表在向量$V$上的投影，即可看作以$v_2,v_3$构成平面为底的平行六面体的高，而|V|代表$v_2,v_3$为底的平行六面体的底面积。
故$|v_1\cdot (v_2\times v_3)|$为该平行六面体相对于三个基向量构成的基六面体变换的体积大小。

3.3 高维情况（推广）

在n维空间里，矩阵A把单位立方体（体积=1）映射到一个平行多面体。
行列式的绝对值$|det(A)|$就是这个新多面体的体积。
这是由行列式的代数性质决定的：
1.行列式在列向量线性相关时为 0（体积=0，空间被压扁，下一节细讲）；
2.行列式在交换两列时变号（体积方向翻转）；
证明：
$$\begin{gathered} A=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]det(A)=a(ei-fh)-b(di-fg)+c(dh-eg) \\ B=\left[\begin{array}{ccc}a& b& c\\ g& h& i\\ d& e& f\end{array}\right]det(B)=a(fh-ei)-b(fg-di)+c(eg-dh)=-det(A) \end{gathered}$$
3.行列式在一列乘以常数时，结果也乘以这个常数（体积缩放）。
证明：
$$\begin{gathered} A=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ g& h& i\end{array}\right]det(A)=a(ei-fh)-b(di-fg)+c(dh-eg) \\ B=\left[\begin{array}{ccc}a& b& c\\ kd& ke& kf\\ g& h& i\end{array}\right] \\ det(B)=a(kei-kfh)-b(kdi-kfg)+c(kdh-keg) \\ =ka(ei-fh)-kb(di-fg)+kc(dh-eg)=kdet(A) \end{gathered}$$
这些正好与体积的几何性质一致，于是行列式就是“体积缩放因子”的唯一合理定义。

只有方阵有行列式。
行列式$det(A)$的本质作用是：

• 代数上：判断一个方阵是否可逆（$det(A)\ne 0\iff$可逆。
• 几何上：描述线性变换对应的提及缩放因子（带方向）。

这些性质都要求“输入空间维数 = 输出空间维数”，也就是：
$A：{\mathbb{R}}^n\to {\mathbb{R}}^n$
$\to$这只有在 𝐴 是方阵时才成立。
如果是非方阵，比如$3\times 4:$
$A：{\mathbb{R}}^4\to {\mathbb{R}}^3$

• 它把四维压到三维，体积一定被压成 0
• 没有“体积缩放”这个说法
• 所以行列式就没有定义

4.线性相关与线性无关

4.1 定义

设有一组向量$v_1,v_2,\cdots ,v_k$(在同一个向量空间里)
如果存在一组不全为零的系数$a_1,a_2,\cdots ,a_k$，使得$a_1{v}_1+a_2{v}_2+\cdots +a_k{v}_k=0$
那么这组向量就叫做 线性相关。
否则（只有当所有系数都等于 0 时，上式才成立），就叫做 线性无关。

4.2 几何直观

二维空间

• 如果两个向量在同一条直线上（共线），它们线性相关。
• 如果不共线，就线性无关。

三维空间

• 三个向量如果在同一个平面里（共面），它们线性相关。
• 如果能撑起整个三维空间，就线性无关。

一句话：一个向量可以由其它向量“拼出来”（线性组合），那它们就是相关的。

4.3 代数上的判定

把向量作为矩阵的列：$A=\left[\begin{array}{cccc}{v}_1& v_2& \cdots & v_k\end{array}\right]$

• 如果$det(A)=0$(方阵情况)，说明列向量线性相关
• 一般情况：秩$rank(A)<$列数$\to$列向量线性相关

秩$rank(A)<$列数的话对应$det(A)=0$，证明：
$A=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ a+2d& b+2e& c+2f\end{array}\right]$
这个$A$矩阵的列数就小于秩数，及
$$A=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ a+2d& b+2e& c+2f\end{array}\right]\to A=\left[\begin{array}{ccc}a& b& c\\ d& e& f\\ 0& 0& 0\end{array}\right]$$
$$\begin{gathered} det(A)=a(e(c+2f)-f(b+2e))-b(d(c+2f)-f(a+2d))+c(d(b+2e)-e(a+2d)) \\ =aec+2aef-afb-2afe-bdc-2bdf+bfa+2bfd+cdb+2cde-cea-2ced \\ =0 \end{gathered}$$

$det(A)=0$说明在对应几维的空间里，体积为0。一般用每行代表特定维度（如第一行代表x轴），有多少行就有多少个维度。而有多少列说明有多少个向量。
比如如果两个二维列向量组成的矩阵$A$它的行列式$det(A)=0$，就说明其中一个列向量可以用另一个列向量表示出来。这两个列向量组成的平行四边形面积为0（面积相当于二维中的体积。）；三个三维列向量组成的矩阵$B$它的行列式$det(B)=0$，就说明至少其中一个列向量可以用其他两个列向量表示出来，这三个列向量组成的三维体积为0（但二维面积并不一定为0。）；类似的可以推广至四维，行列式为0，四维体积一定为0，但三维体积却不一定。因此有可以使用降维的方式获取线性不相关的向量，在机器学习中，或者叫获取线性不相关的特征。

4.4 线性相关和线性无关为什么重要？

• 线性无关的向量：可以当作“基底”，张成一个空间。
• 线性相关的向量：含有冗余信息，多余的那个能被其它的表示。

在机器学习/数据分析中:

• 如果特征（变量）线性相关，就会出现多重共线性问题 → 回归系数不稳定。
• 在 PCA（主成分分析）中，我们寻找线性无关的方向来表示数据。

总结：
线性相关 = 存在冗余，一个向量能用其它的拼出来。
线性无关 = 没冗余，它们是“独立的方向”，能作为基底。

5.矩阵的秩

5.1 定义

对于一个矩阵$A$，它的秩定义为：
$rank(A)$=列空间的维数=行空间的维数
常用同义表述：

• $rank(A)$ = 「最多能选出多少个线性无关的列向量」
• $rank(A)$ = 「最多能选出多少个线性无关的行向量」
• 对方阵：$rank(A)=n\iff A$可逆 $\iff det(A)\ne 0\iff$ 列/行向量线性无关 $\iff$ 特征值$\ne 0\iff$所有特征值非零。

5.2 列空间/行空间是什么？

• 列向量$Col(A)$：$A$ 的所有列向量的线性组合集合，位于 $R^m$ 中。 维数 = $rank(A)$。
• 行空间 $Row(A)$：$A$ 的所有行向量的线性组合集合，位于 $R^n$ 中。维数 = $rank(A)$。

直观地说：列空间就是 $Ax$ 能到达的所有输出方向；行空间是 $A^{t}y$ 能到达的所有方向。

6.矩阵可逆与不可逆

6.1 可逆的定义

矩阵 𝐴 可逆（invertible），是指：存在一个矩阵 $A^{-1}$，使得 $A{A}^{-1}=A^{-1}A=I$
其中 𝐼 是单位矩阵。

• 如果存在这样的逆矩阵，称 可逆矩阵。
• 如果不存在这样的逆矩阵，称 不可逆矩阵（奇异矩阵 singular matrix）。

可逆矩阵一定是方阵，证明：
如果$A$是$m\times n$，$A^{-1}$是$n\times m$，则$A{A}^{-1}$为$m\times m$，$A^{-1}A$为$n\times n$。$A{A}^{-1}\ne A^{-1}A$

6.2 代数意义

可逆矩阵：
线性方程组 $Ax=b$ 有唯一解 $x$。

不可逆矩阵：
线性方程组 $Ax=b$ 没有解 或 有无穷多个解。
特别地，$Ax=0$ 的唯一解不再是 $x=0$，还可能有非零解（这就是“非零解”的来源）。

为啥可逆矩阵有唯一解？不可逆矩阵没有解或者无穷多个解？
1.假设$A$为可逆矩阵，大小为$n\times n$，$x$为$n\times 1$，$A$可以和$x$列$n$个方程，方程的右边等于$b$，$n$个方程解$x$的$n$个未知数，确定唯一解。
2.假设$A$为不可逆矩阵，大小为$n\times n$，$x$为$n\times 1$。
$A$的秩$<n$，假设$A$的某些行能够用其他行表示出来，那么$A$和$x$的所列方程实际上就没有$n$个了，因为某一个方程也能用其他方程表示出来。未知数有n个，而方程没有$n$个。
在方程少于$n$个时，又分为两种情况。
①$b$属于$A$的列空间。
②$b$不属于$A$的列空间。