【IPMV】图像处理与机器视觉：Lec11 Keypoint Features and Corners

【IPMV】图像处理与机器视觉：Lec11 Keypoint Features and Corners

本系列为2025年同济大学自动化专业**图像处理与机器视觉**课程笔记
Lecturer: Rui Fan、Yanchao Dong

Lec0 Course Description

Lec3 Perspective Transformation

Lec7 Image Filtering

Lec8 Image Pyramid

Lec9 Laplace Blending

持续更新中

1 Keypoint Features

特征点的特征：

• Repeatability
• Distanctiveness
• Efficiency

1. 识别特征 (Extract features)
2. 匹配特征 (Match features)
3. 对齐图像 (Align images)

应用

全景拼接 Panoramas Stitching
物体识别 Objection Recognition
3D重建和导航 3D Reconstruction and Navigation

• Corner features

• Blob features

• Feature descriptors

• Feature matching

• Homography estimation from correspondences

• World geometry and #D

• Scene analysis

2 Corner Features

2.1 数学描述：梯度

• Flat region
• Edge
• Corner

数学表述

$E(u,v)={\sum }_{x,y}w(x,y)[I(x+u,y+v)-I(x,y){]}^2$

• $E(u,v)$衡量窗口移动后的亮度变化，用于区分平坦、边缘、角落区域。
  • 对于平坦区域：窗口移动时，图像亮度几乎不变；$E(u,v)$很小
  • 对于边缘：沿边缘移动时亮度不变，垂直移动时变化明显；$E(u,v)$ 沿边缘方向变化小，垂直方向变化大
  • 对于角落：无论怎么移动窗口，图像亮度都会变化；$E(u,v)$在所有方向变化都大
• 窗口函数$w(x,y)$：控制窗口内像素的权重
  • 矩形窗口
  • 高斯窗口：减少噪声影响

2.2 简化描述：Taylor Expasion

泰勒展开近似

$$E(u,v)\approx \left[\begin{array}{cc}u& v\end{array}\right]\left[\begin{array}{cc}\sum w(x,y)I_x^2& \sum w(x,y)I_x{I}_y\\ \sum w(x,y)I_x{I}_y& \sum w(x,y)I_y^2\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{cc}u& v\end{array}\right]\left[\begin{array}{cc}A& B\\ B& C\end{array}\right]\left[\begin{array}{c}u\\ v\end{array}\right]=\left[\begin{array}{cc}u& v\end{array}\right]M\left[\begin{array}{c}u\\ v\end{array}\right]$$

二阶矩阵M

• $$M=\sum _{x,y}w(x,y)\left[\begin{array}{cc}A& B\\ B& C\end{array}\right]=\sum _{x,y}w(x,y)\left[\begin{array}{c}{I}_x\\ I_y\end{array}\right]\left[\begin{array}{cc}{I}_x& I_y\end{array}\right]$$
• 描述窗口内图像的梯度分布
• 特征值 ${\lambda }_1,{\lambda }_2$ 决定区域类型

垂直边缘	$I_x=0$	$M=\left[\begin{array}{cc}0& 0\\ 0& C\end{array}\right]$
水平边缘	$I_y=0$	$M=\left[\begin{array}{cc}A& 0\\ 0& 0\end{array}\right]$

2.3 进一步简化：特征值和特征向量

$M$的特征值和特征向量：

• 特征值：$\lambda =\frac{1}{2}[(A+C)\pm \sqrt{4B^2+(A-C{)}^2}]$
• 特征向量：齐次方程$\left[\begin{array}{cc}A-\lambda & B\\ B& C-\lambda \end{array}\right]\mathbf{x}=0$的解
  • ${\mathbf{x}}_{max}$（最大特征向量）：图像在这个窗口内变化最剧烈的方向
    • 比如边缘区域的垂直边缘方向
  • ${\lambda }_{max}$（最大特征值）：这个方向上的变化强度，值越大表示这个方向变化越剧烈
  • ${\mathbf{x}}_{min}$（最小特征向量）：变化最平缓的方向
    • 比如边缘区域的沿着边缘方向
  • ${\lambda }_{min}$（最小特征值）：这个方向上的变化强度，值越小表示这个方向越稳定
• 如何判定？
  • 两个小 → 平坦
  • 一大一小 → 边缘
  • 两个大 → 角点
    

近似前后对比举例：

区域类型	实例场景	梯度描述	泰勒展开近似	特征值
平坦区域				${\lambda }_{min}=0.4$
边缘区域				${\lambda }_{min}=1.2$
角点区域				${\lambda }_{min}=272$

2.4 角点检测步骤总结

• 使用高斯导数计算图像中每个点的梯度
• 根据梯度创建二阶矩阵$M$
• 计算特征值
• 找出响应较大的点（${\lambda }_{min}$ > 阈值）
• 选择${\lambda }_{min}$为局部最大值的点作为特征点

2.5 The Harris operator：${\lambda }_{min}$计算简化

• ${\lambda }_{min}$的近似值（需要开根号，很麻烦）
  • $角点响应={\lambda }_1\cdot {\lambda }_2-0.06\cdot ({\lambda }_1+{\lambda }_2{)}^2=\det (M)-0.06\cdot trance(M{)}^2$
  • 响应值大$\to$角点
• Harris Operator特性
  • 平移不变性：位置协变+导数计算窗口函数不变
  • 旋转不变性：位置协变
  • 光照部分协变性：亮度平移（$I\to I+b$）不变性和缩放（$I\to aI$）部分鲁棒性
  • 尺度敏感性：图像缩放时，角点可能被误判为边缘 （小尺度角点在大尺度下变平缓，大尺度角点在小尺度下可能消失）；结合多尺度方法（如SIFT）解决

1. 优势：
   • 对平移、旋转、轻度光照变化稳定，适合大多数场景。
   • 计算高效，实时性好。
2. 短板：
   • 怕缩放：必须搭配多尺度检测（如金字塔方法）才能适应不同大小的物体。
   • 非万能：极端光照或模糊场景需结合其他特征（如SIFT/SURF）。
3. 改进方向：
   • 尺度鲁棒性：自适应尺度选择，在位置和尺度空间同时寻找响应最大值（如Harris-Laplace）。

3 总结

• 数学描述：亮度梯度
• 简化
  • 泰勒展开
  • $M$特征值和特征向量
• 角点检测步骤
• Harris Operator
  • ${\lambda }_{min}$的近似
  • 尺度敏感

使用亮度梯度值定量描述角点，使用泰勒线性展开对平方运算进行简化，进一步用$M$的特征值和特征向量进行描述，进一步使用Harris operator对于最小特征值的开方运算进行了简化