【信息论与编码原理】自学成才还在学ing

绪论

多的咱不写，只写干干的

点对点通讯系统模型

干扰和噪声不可避免
消息是 信息的载体，消息包含信息，是具体的非物理的
信息是有效的data
信号是 适合信道传输的物理量，可携带消息，可以显示或者描述

香农信息定义

香浓信息是对信息不确定性的描述，通信过程是一种消除不确定性以获得信息的过程（？）

什么是不确定性呢？
举个栗子：一夜暴富–概率很低，很难猜到其中包含的信息。所以一旦发生后，其中包含的信息量很大
所以概率越低信息量越大。
随机事件发生以后提供的信息量可以被数据量化，

$$\mathrm{I}=log\frac{1}{p(x_i)}=-logp{x}_i$$

不可能实践概率为0，信息量为无穷大
必然事件概率为1，信息量为0
随机事件概率和自信息负相关！
强行理解直观理解

进一步完善通讯模型

这里新增了编码器和译码器。
从消息到信号需要一个变换，这个变换需要编码器完成。
信号和干扰信号需要译码器变换成信息，被信宿给接受。
而编码器有信源编码器和信道编码器区别

信源编码器要去冗余，压缩信息，提高相对传输码率
信道编码器加冗余，提高信息传输准确率，抵抗噪声
调制器要把模拟信号转为数字信号

完整系统模型

自己看不做解释了，因为很形象

概率回顾

用矩阵表示概率分布

离散型变量概率分布，写成一维概率分布

联合概率分布矩阵

二维条件概率分布 ，每一行相加为 1

$$\frac{p(x,y_j)}{{\sum }_{i=1}^{n}p(x_i,y_j)}=\frac{p(x,y_j)}{p(y_j)}$$
全概率公式在信息论中的一个表示

$$P(X)=P(Y)P(X|Y)⟹p(x_i)=\sum _{j=1}^{n}p(y_j)p(x_i|y_j)$$

离散信源及其信息测度

信源的数学模型及其分类

信源是消息来源

离散信息是离散随机变量，其所有情况概率相加为1
连续信息是连续随机变量，其概率密度函数积分为1
连续的一系列变量成为随机矢量
$$\vec{X}=(X_1{X}_2{X}_3\cdots X_n)$$

离散 平稳 记忆 随机过程 概念

离散好说
平稳是指随机变量的各维概率分布都与时间起点无关
无记忆是指变量之间相互独立

N次扩展是值将信源编码成N位0，1符号，即将信源输出序列看成一组一组输出，总共N组输出
举个例子，X变量有0，1两种情况，做2次扩展就有$2^2$个情况，即00，01，10，11
所以对X做N次扩展就有$2^N$种情况，原本每种情况变成了N个一组的序列

离散有记忆信源指心愿符号之间彼此依存、互不独立，可以用联合概率分布和条件概率分布来描述这种关联性。

其中，离散非平稳有记忆信源 称为 马尔可夫信源，

随机过程X(t)是什么呢，这他喵的还是一门重要的课，写完这篇要写下一篇了靠！，设有一个时间过程X(t),若对每一个时刻$t_j$,X($t_j$)是一个随机变量，那他就是随机过程。说大白话就是在随机变量上引入了时间的概念。

自信息与信息熵

随机事件的自信息是指消息本身包含的信息量，有其不确定性所决定
自信息的定义为,公式中对数底数为2，但是实际往往省略2
$$\mathrm{I}(x_i)=loog\frac{1}{p(x_i)}=-logp(x_i)$$
这是一个确切的物理量哦，可不是定义概念哦，人家有单位是bit
人家还可以变换进制，r进制变换公式为${\mathrm{I}}_r(x_i)=\frac{\mathrm{I}(x_i)}{logr}$

由此引出联合自信息
$$\mathrm{I}(x_i{y}_j)=-logp(x_i{y}_j)$$
条件自信息
$$\mathrm{I}(x_i|y_j)=-log(x_i|y_j)$$
二者的关系
$$\mathrm{I}(x_i{y}_j)=-logp(x_i{y}_j)=-logp(y_j)p(x_i|y_j)=\mathrm{I}(y_i)+\mathrm{I}(x_i|y_j)$$

适应一种表述：不确定性就是概率反应的信息量
下面这个例题太好了

信息熵

信息熵是信源中各个消息包含自信息的数学期望，表征信源整体的不确定度，也成为信源平均自信息。
定义式：人家也是一个物理量，物理量都成双成对了，我还没有比翼双飞
$$H(X)=E[I(x_i)]=\sum _{i=1}^{n}p(x_i)I(x_i)=-\sum _{i=1}^{n}p(x_i)logp(x_i)$$
信息包含不确定度，那信息熵包含的是信源整体的不确定度

概率适量和概率分布表可以画等号

概率矢量中各概率分量的次序变更熵保持不变，熵只与变量的总体结构有关与信源总体特征有关，只是客观的数学度量。
非负性，即信息熵总大于等于0，仅对离散信源成立，连续信源可以为负。