目录
（1）高斯混合模型（Gaussian Mixture Model, GMM）
（2）单高斯模型（Single Gaussian Model）
3. 非参数模型（Non-Parametric Models）
（1）K 近邻（K-Nearest Neighbors, KNN）
（2）ViBe 算法（Visual Background Extractor）
1. MOG2（Gaussian Mixture-Based Background Subtraction）
3. GMG（Gaussian Mixture-based Background Subtraction with GMG）
4. CNT（Codebook Background Subtraction）
（2）OpenCV 实现（需安装opencv-contrib-python）
5. ViBe 算法（Visual Background Extractor）
在计算机视觉中，背景建模（Background Modeling） 是从视频序列中分离动态前景与静态背景的核心技术，广泛应用于运动检测、目标跟踪、视频监控等领域。它通过学习场景的统计特性构建背景模型，并实时更新以适应环境变化。在视频中，背景通常被定义为相对稳定的部分，例如墙壁、地面或天空等。背景建模的目标是将动态的前景对象与静态的背景进行分离，以便进一步分析和处理。
一、背景建模的核心目标与核心挑战
1. 核心目标
- 动态分割：实时区分前景（运动物体）与背景（静态或缓慢变化的场景）。
- 环境适应：处理光照变化、动态背景（如晃动的树叶、水流）、相机抖动等干扰。
- 高效稳定：在计算效率（实时性）与分割精度之间平衡，适应不同硬件平台（CPU/GPU/ 嵌入式）。
2. 核心挑战
- 动态背景：背景元素本身运动（如旋转的风扇、流动的河水），易被误判为前景。
- 光照突变：突然的亮度 / 色温变化（如开灯、阴天转晴天），导致背景模型失效。
- 相机运动：手持设备拍摄或无人机航拍时，全局运动干扰局部前景检测。
- 初始化阶段：前几帧需无运动物体干扰，否则背景模型包含错误信息。
二、背景建模模型
1、帧差法原理
由于场景中的目标在运动，目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧图像进行差分运算，不同帧对应的像素点相减，判断灰度差的绝对值，当绝对值超过一定阈值时，即可判断为运动目标，从而实现目标的检测功能。
帧差法的优缺点：
帧差法非常简单，但是会引入噪音和空洞(人物中间是黑色的)问题。
2. 概率模型（Parametric Models）
假设像素值服从特定概率分布，通过参数估计（如均值、方差）描述背景。
（1）高斯混合模型（Gaussian Mixture Model, GMM）
- 核心思想：每个像素的背景由 K 个高斯分布混合表示，权重反映该分布的 “重要性”。
- 数学表达：
- 更新策略：通过在线 EM 算法更新高斯分布的参数，淘汰低权重分布，纳入新观测值。
（2）单高斯模型（Single Gaussian Model）
- 简化版：假设背景像素服从单一高斯分布，适合静态背景（如固定摄像头监控场景）。
- 缺点：无法处理多模态背景（如周期性运动的风扇叶片）。
3. 非参数模型（Non-Parametric Models）
不假设像素值的分布形式，直接存储历史观测值作为背景模型。
（1）K 近邻（K-Nearest Neighbors, KNN）
- 核心思想：当前像素与历史 K 个最近邻像素比较，若距离小于阈值则为背景，否则为前景。
- 距离度量：通常使用欧氏距离或曼哈顿距离。
- 优点：对多模态背景鲁棒性强，无需假设分布形式。
（2）ViBe 算法（Visual Background Extractor）
- 核心思想：从初始帧随机选取像素样本作为背景模型，通过时空一致性（邻域像素和时间帧）更新模型。
- 创新点：
- 空间邻域：利用当前像素的 8 邻域样本增强模型鲁棒性。
- 随机子采样：每个像素仅更新少量样本，降低计算量。
三、主流背景建模算法对比与解析
1. MOG2（Gaussian Mixture-Based Background Subtraction）
（1）算法原理
- 每个像素用 K=3~5个高斯分布建模，按权重和方差排序，前 B 个分布构成背景
- 支持动态更新背景模型，适应光照变化和缓慢运动的背景（如旋转的吊灯）。
（2）OpenCV 实现
bg_subtractor = cv2.createBackgroundSubtractorMOG2(
history=500, # 参与背景建模的历史帧数
varThreshold=16, # 像素值与背景模型的方差阈值
detectShadows=True # 检测阴影（阴影标记为灰色，非前景）
)
fg_mask = bg_subtractor.apply(frame) # 输出二值掩码（255=前景，0=背景，128=阴影）
（3）优缺点
- 优点：速度较快（CPU 下约 20fps），支持阴影检测，适合监控视频。
- 缺点：对快速变化的背景（如突然开关灯）适应较慢，内存占用随历史帧数增加。
2. KNN 背景减除
（1）算法原理
- 为每个像素维护一个历史观测值队列（如最近 500 帧的像素值），通过 KNN 搜索判断当前像素是否属于背景。
- 距离阈值动态调整，适应不同场景的噪声水平。
（2）OpenCV 实现
bg_subtractor = cv2.createBackgroundSubtractorKNN(
history=500, # 历史帧数
dist2Threshold=400, # 平方距离阈值（值越大，检测到的前景越少）
detectShadows=True
)
fg_mask = bg_subtractor.apply(frame)
（3）优缺点
- 优点：对动态背景（如水流、火焰）鲁棒性强，适合自然场景。
- 缺点：计算复杂度高（O (K) 近邻搜索），内存占用大（存储所有历史样本）。
3. GMG（Gaussian Mixture-based Background Subtraction with GMG）
（1）算法原理
- 初始化阶段：前 N 帧（如 30 帧）用于构建初始背景模型，假设背景像素服从高斯分布。
- 在线阶段：通过贝叶斯推理更新背景模型，每个像素的前景概率由当前帧与背景模型的差异计算得到。
- 创新点：引入 “软判决”，用概率掩码而非硬二值化，提升边缘检测精度。
（2）OpenCV 实现（需手动实现核心逻辑）
class GMGModel:
def __init__(self, initial_frames, history=120):
self.gmm = cv2.createBackgroundSubtractorMOG2(history=history)
for frame in initial_frames:
self.gmm.apply(frame) # 预训练背景模型
def apply(self, frame):
return self.gmm.apply(frame, learningRate=0.01) # 低学习率缓慢更新
（3）优缺点
- 优点：初始化快，适合静态相机场景（如门禁监控）。
- 缺点：相机移动或剧烈光照变化时易失效。
4. CNT（Codebook Background Subtraction）
（1）算法原理
- 每个像素的背景用码本表示，码本包含多个码字（颜色区间），覆盖该像素可能的取值范围。
- 码字通过聚类算法生成，支持多模态分布（如周期性变化的像素值）。
（2）OpenCV 实现（需安装opencv-contrib-python）
import cv2.bgsegm as bgsegm
bg_subtractor = bgsegm.createBackgroundSubtractorCNT(
use_history=True, # 是否使用历史帧更新码本
maxPixelDistance=30 # 像素与码字的最大距离
)
fg_mask = bg_subtractor.apply(frame)
（3）优缺点
- 优点：抗噪声能力强，适合高动态范围场景（如夜间车灯变化）。
- 缺点：计算复杂度高，内存占用大（每个像素存储多个码字）。
5. ViBe 算法（Visual Background Extractor）
（1）算法原理
- 初始化：从第一帧随机选取 200 个邻域像素作为背景样本（每个像素维护一个样本集合）。
- 更新策略：
- 每个像素以小概率（如 1/16）用当前值替换样本集合中的随机样本。
- 利用空间邻域的样本一致性，抑制孤立噪声点。
（2）手动实现核心逻辑
class ViBe:
def __init__(self, frame, sample_size=200, radius=20):
self.sample_size = sample_size
self.radius = radius
self.samples = np.zeros((frame.shape[0], frame.shape[1], sample_size), dtype=np.uint8)
# 初始化：每个像素随机选取邻域样本
for i in range(frame.shape[0]):
for j in range(frame.shape[1]):
self.samples[i,j] = self._sample_neighbors(frame, i, j)
def _sample_neighbors(self, frame, i, j):
# 从3x3邻域随机选取sample_size个样本（包括自身）
neighbors = frame[max(0,i-1):min(frame.shape[0],i+2), max(0,j-1):min(frame.shape[1],j+2)].ravel()
return np.random.choice(neighbors, self.sample_size, replace=False)
def apply(self, frame):
fg_mask = np.zeros(frame.shape[:2], dtype=np.uint8)
for i in range(frame.shape[0]):
for j in range(frame.shape[1]):
# 计算当前像素与样本的距离
dist = np.sum(np.abs(self.samples[i,j] - frame[i,j]) < self.radius)
if dist < 20: # 小于匹配阈值，判为前景
fg_mask[i,j] = 255
# 以1/16概率更新样本（仅前景像素更新）
if np.random.rand() < 1/16:
self.samples[i,j][np.random.randint(0, self.sample_size)] = frame[i,j]
else:
# 背景像素以1/16概率更新样本，并扩散到邻域
if np.random.rand() < 1/16:
ni, nj = self._get_random_neighbor(i,j)
self.samples[ni,nj][np.random.randint(0, self.sample_size)] = frame[i,j]
return fg_mask
（3）优缺点
- 优点：速度极快（单帧处理时间 < 1ms），内存效率高，适合嵌入式设备。
- 缺点：依赖第一帧初始化，相机移动时需重新校准。
四、背景建模的完整实现流程（以 MOG2 为例）
1. 输入预处理
- 灰度化：将彩色图像转为灰度图（减少计算量，多数算法基于单通道）。
- 缩放：降低分辨率（如从 1920x1080 缩至 640x480），提升实时性。
frame = cv2.resize(frame, (640, 480))
gray = cv2.cvtColor(frame, cv2.COLOR_BGR2GRAY)
2. 背景模型初始化
- 前
history帧用于训练背景（期间避免运动物体干扰，或通过参数允许动态更新）。
bg_subtractor = cv2.createBackgroundSubtractorMOG2(history=200)
for _ in range(200):
bg_subtractor.apply(gray) # 预训练背景
3. 前景提取与后处理
- 形态学操作：腐蚀（去除小噪声点）和膨胀（连接断裂的前景区域）。
- 轮廓检测：提取前景轮廓，过滤面积过小的区域（如面积 < 50 像素的噪声）。
fg_mask = bg_subtractor.apply(gray)
fg_mask = cv2.erode(fg_mask, None, iterations=2)
fg_mask = cv2.dilate(fg_mask, None, iterations=2)
contours, _ = cv2.findContours(fg_mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
for cnt in contours:
if cv2.contourArea(cnt) > 50: # 过滤小轮廓
x, y, w, h = cv2.boundingRect(cnt)
cv2.rectangle(frame, (x,y), (x+w,y+h), (0,255,0), 2)
4. 背景模型更新
- 自适应学习率：
bg_subtractor.apply(frame, learningRate=0.01)，学习率越小，模型更新越慢（0 表示固定背景，1 表示完全用当前帧更新）。
五、背景建模代码逐步分解
1. 初始化环境与读取视频
import cv2
cap = cv2.VideoCapture('../data/test.avi')
任务：
导入OpenCV库，提供图像处理、视频读写等基础功能。
创建
VideoCapture对象，读取指定路径的视频文件，为逐帧处理做准备。
2. 预处理工具准备
kernel = cv2.getStructuringElement(cv2.MORPH_CROSS, (3,3))
fgbg = cv2.createBackgroundSubtractorMOG2()任务：
形态学核：创建3x3十字形结构元素，用于后续开运算（去噪）。
背景建模器：初始化MOG2背景减除算法，动态建模背景，分离运动前景（如行人、车辆）。
3. 逐帧处理主循环
(1) 读取视频帧
ret, frame = cap.read()
if not ret:
break任务：
读取视频的下一帧数据，
ret判断是否成功读取（失败则退出循环）。frame变量存储当前帧的BGR图像数据，用于后续处理与显示。
(2) 显示原始帧
cv2.imshow('frame', frame)任务：
实时显示原始视频帧，用于直观对比处理前后的效果。
(3) 背景减除获取前景掩膜
fgmask = fgbg.apply(frame)任务：
应用MOG2算法，动态更新背景模型，生成前景二值掩膜。
输出：白色区域表示运动目标（前景），黑色为背景。
光流关联：此步骤定位可能发生运动的区域，为后续光流计算缩小范围（减少计算量）。
(4) 形态学开运算去噪
fgmask_new = cv2.morphologyEx(fgmask, cv2.MORPH_OPEN, kernel)
cv2.imshow('fgmask1', fgmask_new)任务：
开运算：先腐蚀后膨胀，消除细小噪声点（如树叶晃动、光照变化）。
显示处理后的前景掩膜，验证去噪效果。
光流优化：干净的掩膜可提高光流估计的准确性，避免噪声干扰运动向量计算。
(5) 轮廓检测与筛选
_, contours, h = cv2.findContours(fgmask_new, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
for c in contours:
perimeter = cv2.arcLength(c, True)
if perimeter > 188:
x,y,w,h = cv2.boundingRect(c)
frame = cv2.rectangle(frame, (x,y), (x+w,y+h), (0,0,255), 2)任务：
轮廓检测：在二值掩膜中查找连通区域，获取所有潜在运动目标的轮廓。
周长过滤：通过阈值（188）剔除小轮廓（噪声），保留显著运动物体。
绘制边界框：在原始帧上用红色矩形标记运动目标的位置。
光流定位：框选区域可作为光流算法的输入ROI（Region of Interest），针对性计算运动方向与速度。
(6) 显示检测结果
cv2.imshow('frame_new_rect', frame)
k = cv2.waitKey(1)
if k == 27:
break任务：
显示带检测框的实时视频，直观反馈算法效果。
检测键盘输入，按下ESC键（ASCII 27）退出循环。
4. 资源释放
cap.release()
cv2.destroyAllWindows()任务：
释放视频捕获对象，关闭所有OpenCV窗口，防止内存泄漏。
完整代码展示
# 导入OpenCV库，用于计算机视觉任务
import cv2
# 获取视频信息：创建VideoCapture对象，读取视频文件
cap = cv2.VideoCapture('../data/test.avi')
# 创建形态学操作核：使用3x3的十字形结构元素，用于后续的开运算去噪
kernel = cv2.getStructuringElement(cv2.MORPH_CROSS, (3, 3))
# 创建背景减除器：使用MOG2算法进行动态背景建模，用于提取运动前景
fgbg = cv2.createBackgroundSubtractorMOG2()
# 主循环：逐帧处理视频
while True:
# 读取当前帧：ret表示读取状态，frame为图像数据
ret, frame = cap.read()
# 检查帧是否读取成功，失败则退出循环
if not ret:
break
# 显示原始视频帧
cv2.imshow('frame', frame)
# 应用背景减除器：获得前景掩膜（二值图像，白色代表前景运动区域）
fgmask = fgbg.apply(frame)
# 形态学开运算处理：去除前景掩膜中的小噪声点
fgmask_new = cv2.morphologyEx(fgmask, cv2.MORPH_OPEN, kernel)
cv2.imshow('fgmask1', fgmask_new) # 显示处理后的前景掩膜
# 查找轮廓：检测二值图像中的连通区域
# 参数说明：RETR_EXTERNAL只检测外部轮廓，CHAIN_APPROX_SIMPLE压缩水平、垂直和对角线段
# 注意：OpenCV版本不同返回值可能不同，新版返回两个值（contours, hierarchy）
_, contours, h = cv2.findContours(fgmask_new, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
# 遍历所有检测到的轮廓
for c in contours:
# 计算轮廓周长（permier应为perimeter，变量名拼写错误）
perimeter = cv2.arcLength(c, True)
# 筛选较大轮廓：周长阈值设为188（根据场景调整，用于过滤小噪声）
if perimeter > 188:
# 获取轮廓的外接矩形坐标
x, y, w, h = cv2.boundingRect(c)
# 在原始帧上绘制红色矩形框（BGR格式：(0,0,255)为红色）
frame = cv2.rectangle(frame, (x, y), (x + w, y + h), (0, 0, 255), 2)
# 显示带检测框的结果帧
cv2.imshow('frame_new_rect', frame)
# 检测按键输入：ESC键（ASCII 27）退出循环
k = cv2.waitKey(1)
if k == 27:
break
# 释放资源（隐式执行，但显式释放更规范）
cap.release()
cv2.destroyAllWindows()六、总结：如何选择合适的背景建模算法
| 场景需求 | 推荐算法 | 核心参数调优 |
|---|---|---|
| 固定摄像头，静态背景 | GMG、单高斯模型 | history=100, detectShadows=True |
| 动态背景（如树叶、水流） | KNN、ViBe | K=50, radius=20（ViBe） |
| 实时性优先（嵌入式设备） | ViBe、简化 MOG2 | history=200, varThreshold=25 |
| 复杂光照变化 | CNT、MOG2 | detectShadows=True, 低学习率（0.001） |
| 多模态背景（周期性运动） | GMM（K=3~5） | 增加高斯分布数量，动态调整背景比例阈值 |
背景建模是视频分析的基石，其核心价值在于平衡模型鲁棒性与计算效率。通过理解不同算法的适用场景、参数含义及后处理技巧，结合具体硬件条件和场景需求，可实现精准的前景提取，为上层计算机视觉任务奠定坚实基础。