OpenCV 图像金字塔

一、什么是图像金字塔？

图像金字塔是由同一幅图像的多个不同分辨率子图构成的集合，因其层级结构形似“金字塔”而得名。其核心特征如下：

• 层级关系：金字塔的底部是原始高分辨率图像（记为G₀），向上每一层（G₁、G₂、…、Gₙ）的分辨率都逐步降低，顶部可能仅保留1个像素点。
• 分辨率变化规律：通常每向上移动一层，图像的宽度和高度会缩小为前一层的1/2，像素总数减少为1/4（也可根据需求调整缩放比例）。
• 核心作用：将单分辨率图像转化为多尺度表示，让算法能在不同“尺度”下分析图像（例如大尺度检测目标整体，小尺度捕捉细节）。

示例：若原始图像为512×512（G₀），经过1次向下采样得到256×256的G₁，再采样得到128×128的G₂，以此类推，最终形成“底层大、上层小”的金字塔结构。

二、图像金字塔的核心操作：采样与逆采样

图像金字塔的构建依赖两种基础操作：向下采样（降采样） 和向上采样（升采样）。这两种操作是金字塔分层的核心，但需注意：

它们并非可逆过程——对图像先降采样再升采样，无法恢复原始图像的细节（会丢失信息）。

1. 向下采样（pyrDown）：从高分辨率到低分辨率

向下采样是构建高斯金字塔的核心步骤，目的是降低图像分辨率，生成金字塔的上一层子图。其操作遵循“先滤波、再抽样”的原则，具体流程如下：

步骤1：高斯滤波

首先对当前图像（如G₀）进行高斯模糊处理。这一步的核心目的是抑制高频噪声——若直接删除像素，会导致图像边缘出现锯齿或伪影，高斯滤波通过对邻域像素加权平均，平滑图像并保留主要结构。

高斯滤波的权重由二维高斯函数决定：
$$G(x,y)=\frac{1}{2\pi {\sigma }^2}{e}^{-\frac{x^2+y^2}{2{\sigma }^2}}$$
其中，σ为高斯核的标准差（控制模糊程度），通常使用3×3或5×5的高斯核（如3×3核：$\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$，需归一化后使用）。

步骤2：删除偶数行与偶数列

对滤波后的图像，删除所有偶数行和偶数列。例如512×512的图像经此操作后，变为256×256（宽度和高度各减半），像素总数变为原来的1/4。

OpenCV实战代码

import cv2

# 读取原始灰度图像（G0）
img = cv2.imread("face.png", cv2.IMREAD_GRAYSCALE)
cv2.imshow("Original (G0)", img)
cv2.waitKey(0)

# 第一次向下采样（G1：256×256）
img_down1 = cv2.pyrDown(img)
cv2.imshow("Down Sample 1 (G1)", img_down1)
cv2.waitKey(0)

# 第二次向下采样（G2：128×128）
img_down2 = cv2.pyrDown(img_down1)
cv2.imshow("Down Sample 2 (G2)", img_down2)
cv2.waitKey(0)

cv2.destroyAllWindows()

效果特点

• 分辨率降低，尺寸缩小；
• 因高斯滤波和平滑，图像整体更模糊，细节（如边缘、纹理）逐渐丢失；
• 每一层都保留了前一层的“概览信息”（如目标的整体形状）。

2. 向上采样（pyrUp）：从低分辨率到高分辨率

向上采样是向下采样的逆操作，目的是恢复图像分辨率（生成比当前层更大的子图），但无法恢复向下采样时丢失的细节。其操作流程为“先插值、再滤波”：

步骤 1：插值补全像素

对当前低分辨率图像（如 G₁），在每个像素的行和列之间插入 0 值。例如 256×256 的图像经此操作后，变为 512×512——新图像的宽度和高度翻倍，但插入的 0 值会导致图像出现“网格状”空洞。

步骤 2：高斯滤波

用与向下采样相同的高斯核（需放大 4 倍以匹配像素密度）对插值后的图像进行滤波，填充空洞并平滑图像。例如 3×3 高斯核需调整为 $\left[\begin{array}{ccc}1& 2& 1\\ 2& 4& 2\\ 1& 2& 1\end{array}\right]$（与向下采样核一致，因插值后像素密度变为原来的 1/4，核权重需保持对应）。

OpenCV 实战代码

# 对G1进行向上采样（恢复为512×512，但细节丢失）
img_down1_up = cv2.pyrUp(img_down1)
cv2.imshow("Down1 -> Up (G1')", img_down1_up)
cv2.waitKey(0)

# 对比原始图像与“降采样+升采样”结果
cv2.imshow("Original (G0)", img)
cv2.imshow("Down1 -> Up (G1')", img_down1_up)
cv2.waitKey(0)
cv2.destroyAllWindows()

效果特点

• 尺寸与原始图像一致（如 512×512），但清晰度远低于原始图像；
• 因丢失的高频细节无法恢复，图像整体偏模糊，边缘过渡不锐利；
• 验证了 “采样不可逆” 的特性 —— 降采样丢失的信息无法通过升采样完全找回。

三、拉普拉斯金字塔：捕捉采样丢失的细节

既然向下采样会丢失细节，如何保留这些信息以便后续恢复图像？拉普拉斯金字塔（Laplacian Pyramid） 应运而生。它通过计算 “原始图像与‘降采样后再升采样’图像的差值”，记录每一层向下采样时丢失的高频细节（边缘、纹理等）。

1. 拉普拉斯金字塔的定义

拉普拉斯金字塔的第 i 层（$L_i$）计算公式为：
$$L_i=G_i-\text{pyrUp}(\text{pyrDown}(G_i))$$
其中：

• $G_i$：高斯金字塔的第 i 层（原始或降采样后的图像）；
• $\text{pyrUp}(\text{pyrDown}(G_i))$：对 $G_i$ 先降采样再升采样的结果（尺寸与 $G_i$ 一致，但细节丢失）；
• $L_i$：差值图像，记录了 $G_i$ 中被降采样丢失的高频细节（边缘、纹理等）。

示例：

• $L_0=G_0-\text{pyrUp}(\text{pyrDown}(G_0))$ → 记录 $G_0$ 到 $G_1$ 丢失的细节；
• $L_1=G_1-\text{pyrUp}(\text{pyrDown}(G_1))$ → 记录 $G_1$ 到 $G_2$ 丢失的细节；
• 以此类推，拉普拉斯金字塔的顶层为高斯金字塔的顶层（无更高层可采样）。

2. 拉普拉斯金字塔的核心作用：图像恢复与融合

拉普拉斯金字塔的最大价值在于恢复高分辨率图像。通过“高斯金字塔的高层图像 + 拉普拉斯金字塔的对应细节”，可逐步重建原始图像：

1. 从高斯金字塔顶层 $G_n$ 开始，对其进行升采样：$\text{pyrUp}(G_n)$；
2. 加上拉普拉斯金字塔的 $L_{n-1}$ 层，得到 $G_{n-1}$：$ G_{n-1} = \text{pyrUp}(G_n) + L_{n-1} $；
3. 重复步骤 1 - 2，直到恢复出原始图像 $G_0$。

OpenCV 实战：图像恢复

# 计算拉普拉斯金字塔L0和L1
L0 = img - cv2.pyrUp(img_down1)  # G0 - pyrUp(G1)
L1 = img_down1 - cv2.pyrUp(img_down2)  # G1 - pyrUp(G2)

# 显示拉普拉斯细节（黑色背景下的白色边缘，即丢失的细节）
cv2.imshow("Laplacian L0", L0)
cv2.imshow("Laplacian L1", L1)
cv2.waitKey(0)

# 用L0恢复原始图像：pyrUp(G1) + L0 = G0
recovered_img = cv2.pyrUp(img_down1) + L0
cv2.imshow("Recovered Image (G0)", recovered_img)
cv2.imshow("Original Image (G0)", img)
cv2.waitKey(0)
cv2.destroyAllWindows()

效果特点

• 拉普拉斯图像（$L_0$、$L_1$）以 “黑色背景 + 白色边缘” 为主，直观展示了各层丢失的细节；
• 恢复后的图像与原始图像几乎一致（微小差异来自数值精度），验证了拉普拉斯金字塔的细节保留能力。

四、图像金字塔的典型应用场景

图像金字塔的多尺度特性使其成为计算机视觉的基础工具，广泛应用于以下场景：

1. 特征点提取（SIFT、ORB 等）

SIFT（尺度不变特征变换）是经典的特征提取算法，其核心是“在不同尺度下检测稳定的特征点”。图像金字塔为 SIFT 提供了多尺度基础：

• 对原始图像构建高斯金字塔（不同 σ 的模糊图像）；
• 计算相邻层的差值（高斯差分金字塔，DoG），检测极值点（潜在特征点）；
• 结合拉普拉斯金字塔的细节，筛选出尺度不变的特征点，用于图像匹配、目标识别。

2. 模板匹配

模板匹配是在大图像中寻找与小模板相似区域的任务。若直接在原始图像中匹配，可能因“模板与目标尺度不一致”导致匹配失败。图像金字塔的解决方案是：

1. 对原始图像和模板分别构建金字塔；
2. 从金字塔顶层（低分辨率）开始匹配，快速定位大致区域；
3. 逐步向下层（高分辨率）细化匹配，提高精度。

这种“从粗到细”的匹配方式，既提升了速度，又解决了尺度不一致问题。

3. 图像融合

在图像拼接（如全景图）或曝光融合中，需将多幅图像的重叠区域平滑过渡。图像金字塔的融合流程为：

1. 对每幅图像构建高斯金字塔（获取不同尺度的概览）；
2. 构建对应的拉普拉斯金字塔（获取不同尺度的细节）；
3. 在拉普拉斯金字塔的每一层，对重叠区域进行加权融合（如左侧图像权重从 1→0，右侧从 0→1）；
4. 从融合后的拉普拉斯金字塔顶层开始，逐步向上恢复，得到最终融合图像。

优势：可避免融合边缘出现 “拼接痕迹”，实现平滑过渡。

4. 光流跟踪

光流跟踪用于检测视频中运动目标的 “瞬时速度”。由于目标可能在视频中缩放（如靠近 / 远离摄像头），需在多尺度下跟踪：

• 对视频的连续帧构建图像金字塔；
• 在顶层（低分辨率）跟踪目标的大致运动方向；
• 向下层（高分辨率）细化跟踪位置，提高精度；
• 结合各层结果，得到目标在原始分辨率下的光流向量。

五、总结与注意事项

图像金字塔作为计算机视觉的基础技术，其核心价值在于将单分辨率图像转化为多尺度表示，解决了 “尺度不一致”“细节与概览平衡” 等关键问题。

核心知识点

1. 高斯金字塔：通过 “向下采样” 构建，每一层都是前一层的低分辨率平滑版本，用于获取图像的概览信息；
2. 向上采样：恢复图像尺寸但无法恢复细节，验证了 “采样不可逆”；
3. 拉普拉斯金字塔：记录向下采样丢失的细节，用于图像恢复与融合；
4. 应用场景：特征提取（SIFT）、模板匹配、图像融合、光流跟踪等。

注意事项

• 分辨率变化：默认每一层的宽 / 高为前一层的 1/2，需注意图像尺寸需为 2 的整数次幂（如 512、256），否则可能出现尺寸偏差；
• 噪声影响：向下采样前的高斯滤波需合理选择 σ（过小易保留噪声，过大易模糊细节）；
  录向下采样丢失的细节，用于图像恢复与融合；

4. 应用场景：特征提取（SIFT）、模板匹配、图像融合、光流跟踪等。

注意事项

• 分辨率变化：默认每一层的宽 / 高为前一层的 1/2，需注意图像尺寸需为 2 的整数次幂（如 512、256），否则可能出现尺寸偏差；
• 噪声影响：向下采样前的高斯滤波需合理选择 σ（过小易保留噪声，过大易模糊细节）；
• OpenCV 函数细节：cv2.pyrDown()和cv2.pyrUp()的dstsize参数可自定义输出尺寸，但需遵循 “向下采样为 1/2，向上采样为 2 倍” 的原则，否则会导致后续计算错误。