一、自适应权重空时域去噪
基于空时域的滤波方法可以视为是普通图像滤波方法在三维上的扩展，单独 的空域滤波和时域滤波都能视为空时域滤波器的特例。其主要利用了像素点之间 的相关性构成一个三维的滤波器。空时域滤波方法也存在和单独的空域时域滤波
一样的难点：
（1） 在提高去噪强度的同时保持边缘纹理等细节；
（2） 减少去噪过程中导致的运动物体“拖尾”现象；
（3） 场景切换收敛速度快；
（4） 硬件实现成本可接受；
针对上述难点，本文设计了如图4.1所示的算法框图。空域去噪部分采用各向异性的空域滤波，通过特征点检测获取到的当前像素点的特征点信息与局部噪声 估计来控制空域滤波强度。时域去噪部分采用运动自适应的时域递归滤波，使用运动估计的结果来控制时域滤波强度，运动程度大时则减小时域滤波强度，反之则增大时域滤波强度。最终根据图像内部信息与运动估计信息来控制空域和时域滤波的融合权重做输出像素融合。
1.1基于Harris算子的特征点检测
在传统的空时域融合滤波算法中，空域和时域的滤波结果融合通常只考虑了 局部的运动情况，使一些运动程度较小但边缘纹理等细节丰富的区域出现信息丢 失。因此本文在具体的空时域滤波算法实现过程中，不仅考虑了视频图像中像素点 的运动，还考虑了图像中边缘点和角点以及其他高频细节的情况，会通过基于Harris算子的特征点检测获取当前像素点的特征信息，根据此特征信息情况综合 调整空域滤波的融合权重，以保留下更多细节。
Harris算子主要使用微分方程和自相关矩阵来提取图像中的特征点信息。通过计算邻域窗口沿任何方向移动的灰度变化程度来判断特征点，若沿各方向上的灰 度值变化程度均较大，则认为当前区域为图像的角点位置，若变化程度均较小，则认为当前区域为图像的平坦区。Harris算法在计算时，邻域窗口会以像素点为中心 分别向x和y方向进行微小的移动，并检测其灰度变化。对于微小移动量(u,v),其 灰度变化E(u,v)可用自相关函数表达式(4.1)表示：
其中g(x,y)为邻域像素点的灰度值，为中心像素点的n*n邻域。w(x,y) 为权重函数，一般可用常数或者高斯函数表示。
对式(4.1)使用泰勒公式展开，省略高阶项得：
其中分别为沿x和y方向上的偏导数。
将E(u,v)转化为二次型有：
其中对称矩阵M表示为：
定义角点的响应函数（Corner Response Function，CRF）：
其中k通常为经验值常数0.4~0.6，和
分别为矩阵M的两个特征值。这两个特征值体现了每个像素点在相互垂直的方向上进行微小移动时灰度变化的激烈程度。
如图4.2所示，如果两个特征值都很小则为平坦点，即其各方向上灰度变化都缓慢；都很大则为角点，即在各方向上灰度变化都很快；一大一小则为边缘点，即在某一方向上灰度变化较快。
在实际设计中由于角点响应函数中k值的选择对最终检测结果有较大的影响， 故本算法中使用如式(4.6)来表示特征点检测结果：
其中Pcore与Pedge分别表示当前点为角点与边缘点的度量值，为两特征值中较大的一个，
为两个特征值较小的一个，
与
分别为配置平滑参数。
1.2自适应空域滤波
双边滤波根据亮度值的相似性程度来保持图像的边缘细节，同时还考虑了像素与邻域像素之间在空间域上的邻近性。作为一个非线性的滤波方法，双边滤波可 以看作是把空间域相邻性和值域灰度相似性组合起来的一种中间方式，在去除噪 声的同时能保留图像丰富的边缘特征。但是双边滤波实质上仍属于邻域像素加权 平均的滤波器，存在一定的局限性，低尺度的双边滤波虽然可以保持一定程度的边 缘信息，但其去噪性能与高尺度双边滤波相比也有所下降。由于视频图像的边缘、 纹理等细节差异较大，传统的人工预设参数往往无法有效抑制噪声，甚至会导致图 像过平滑，并且在图像的不同区域间也存在着去噪和保留边缘特征间的矛盾。因此 为了获得更好的去噪效果同时保留边缘特征细节，本文使用自适应参数选择的双边滤波。
1.2.1 局部噪声估计
根据双边滤波器的性质可知，双边滤波的去噪性能由两个参数和
决定，分别控制着空间域和值域的特征，并且较的值而言，
的值在改变噪声水平方面更加重要。因此
的值一般按经验值设置，
的值通常自适应设为
,
为高斯噪声的标准差。
因此为了获得自适应值域平滑参数，需实时估计图像的局部噪声标准差
， 如式(4.7)为图像的局部邻域窗口内局部标准差表达式：
其中g(i,j)为邻域像素点的灰度值，为中心像素点的n*n邻域。m为局部邻域估计均值，
为邻域像素点对应空域权重，计算方式如下：
将式(4.8)中m带入式(4.7)可得图像局部标准差最终计算式为：
2.2.2 方向性中值滤波
中值滤波在对抗脉冲噪声时表现突出，具有较好的保边性。但中值滤波中选取 的邻域点不同往往对滤波结果产生较大影响，为了保留更多的高频细节，本文会根 据特征点检测结果将中心像素点分为平坦点、边缘点、角点来选取不同的点进行排 序选取中值，例如若当前点为边缘点时，则会更倾向于选取延着边缘方向上的点， 具体的选点方式将在硬件设计部分给出。则方向性中值滤波结果如式(4.10)所示:
其中,为方向性中值滤波结果.
分别为 当前点为平坦点、角点与边缘点时的中值滤波结果，为非边缘中值。
引入局部噪声估计与方向性中值滤波结果，则双边滤波的值域权重如所示：
其中k为预留配置参数，可根据实际环境下不同照度配置该参数以调整值域滤波强度。
2.3 空时域去噪融合
在时域去噪中帧间差分法运算简单快速，易于实时视频处理系统的实现。但算 法直接计算相邻两帧含噪像素点的差值，在噪声较大时，会导致错误的检测结果。 因此在本实时视频图像处理中，通过当前帧与参考帧做像素级的侦差后，会再经过 一个强度较大的双边滤波得到当前帧的运动强度估计，以确保运动估计结果对噪 声不敏感。同时考虑到时域滤波中抑制“拖尾”现象的性能与成本，会同时根据参考帧16倍下采样过后的小图与当前帧16倍下采样过后的小图来计算16*16块级的运动强度。为了使“拖尾”现象不发生，会倾向于当前区域是运动区的情况，故会从像素级运动检测得的到时域融合权重与16*16块级得到的时域融合权重中选 择较小的，则去噪结果如式(4.12)所示：
其中Pout为空时域融合结果，Pref为参考帧像素值，Pspace为空域去噪结果，为像 素级运动强度计算的融合权重，
为16*16块级运动强度计算的融合权重。
单独的时域去噪在处理静止的图像时表现出色，能够有效保留图像边缘细节，但在处理运动区域时，效果却有所下降，原因是为了了减少时域非平稳现象的发生，通常需要牺牲去噪效果。空域去噪虽然不会受到运动的干扰，但是往往难以保持去噪性能的同时保留好高频细节。在以往的方法中，空域和时域去噪结果的整合往往 只参考了当前区域的运动状况，这样会使一些细节丰富但运动程度较小的区域出 现模糊，去噪效果不好。因此本设计不仅考虑了视频图像区域运动情况，还考虑了 边缘细节等高频信息情况，在做空时域去噪结果融合时，根据当前区域的运动与边 缘细节等情况综合调整融合权重。当区域运动程度较大，而边缘等细节较少时，则 增加空域去噪结果的权重，以确保良好的去噪效果，而当区域运动程度较小或边缘 等细节较多时，则增加时域去噪结果的权重，以确保边缘细节等高频信息不受损坏。