深度学习中常用的符号表达式

在论文写作过程中，常常涉及到一些关键的符号的表达，为了更加规范常用的一些符号表达，现将其总结如下（该文件会持续性更新）：

数字

• $x$ : 标量
• $\mathbf{x}$ : 向量
• $\mathbf{X}$ : 矩阵
• $\mathsf{X}$ ：张量
• $\mathbf{I}$ : 单位矩阵
• $x_i,[\mathbf{x}{]}_i$ : 向量$\mathbf{x}$第$i$个元素
• $x_{ij},[\mathbf{X}{]}_{ij}$ : 矩阵$\mathbf{X}$第$i$行第$j$列的元素

集合论

• $\mathcal{X}$：集合
• $\mathbb{Z}$ : 整数集合
• $\mathbb{R}$ : 实数集合
• ${\mathbb{R}}^n$ : $n$维实数向量集合
• ${\mathbb{R}}^{a\times b}$ : 包含$a$行和$b$列的实数矩阵集合
• $\mathcal{A}\cup \mathcal{B}$ : 集合$\mathcal{A}$和$\mathcal{B}$的并集
• $\mathcal{A}\cap \mathcal{B}$ : 集合$\mathcal{A}$和$\mathcal{B}$的交集
• $\mathcal{A}\setminus \mathcal{B}$：集合$\mathcal{A}$和$\mathcal{B}$相减，集合$\mathcal{B}$关于集合$\mathcal{A}$的相对补集

函数与运算符

• $f(\cdot )$ : 函数
• $\log (\cdot )$ : 自然对数
• $\exp (\cdot )$ : 指数函数
• $1_{\mathcal{X}}$ : 指示函数
• ${(\cdot )}^{\top }$ : 向量或矩阵的转置
• ${\mathbf{X}}^{-1}$ : 矩阵的逆
• $\odot$ : 按元素相乘
• $[\cdot ,\cdot ]$ : 连结
• $|\mathcal{X}|$ : 集合的基数
• $\Vert \cdot {\Vert }_p$ : $L_p$正则
• $\Vert \cdot {\Vert }_2$ : $L_2$正则
• $⟨\mathbf{x},\mathbf{y}⟩$ : 向量$\mathbf{x}$与向量$\mathbf{y}$的点积
• $\stackrel{\mathrm{def}}{=}$ : 定义

微积分

• $\frac{dy}{dx}$ : $y$关于$x$的导数
• $\frac{\partial y}{\partial x}$ : $y$关于$x$的偏导数
• ${\nabla }_{\mathbf{x}}y$ : $y$关于$\mathbf{x}$的梯度
• ${\int }_a^{b}f(x)dx$ : $f$在$a$到$b$区间上关于$x$的定积分
• $\int f(x)dx$ : $f$关于$x$的不定积分

概率与信息论

• $P(\cdot )$ : 概率分布
• $z\sim P$ : 随机变量$z$具有概率分布$P$
• $P(X\mid Y)$ : $X\mid Y$的条件分布
• $p(x)$ : 概率密度函数
• $E_x[f(x)]$ : 函数$f$对$x$的数学期望
• $X\perp Y$ : 随机变量$X$和$Y$是独立的
• $X\perp Y\mid Z$ : 随机变量$X$和$Y$在给定随机变量$Z$的条件下是独立的
• $\mathrm{Var}(X)$ : 随机变量$X$的方差
• ${\sigma }_X$ : 随机变量$X$的标准差
• $\mathrm{Cov}(X,Y)$ : 随机变量$X$和$Y$协方差
• $\rho (X,Y)$ : 随机变量$X$和$Y$相关性
• $H(X)$ : 随机变量$X$的熵
• $D_{\mathrm{KL}}(P\Vert Q)$ : $P$和$Q$的KL-散度

复杂度

• $\mathcal{O}$ : 大O标记