双目相机深度的误差分析（基线长度和相机焦距的选择）

全文基于针孔模型和基线水平放置来讨论

影响双目计算深度的因素：

• 1、基线长度：两台相机光心之间距离
• 2、相机焦距（像素）：$f_x$（或$f_y$）为焦距 $f$和一个缩放比例的乘积。在针孔相机模型中，焦距 $f$ 是从针孔（即光心）到成像平面的距离。而 $f_x$实际上指的是以像素为单位的“有效焦距”，它将物理世界中的距离转换到了图像坐标系下的像素距离，在讨论相机时，一般是讨论$f_x$（或$f_y$）。
• 3、算法匹配的精确度：计算视差时候的精度
• 4、物体深度：随着物体越远，理论误差会越大

当我们有两个不同位置拍摄的同一物体的图像时，可以通过比较这两个图像中物体的位置差异（即视差）来计算该物体与相机之间的距离。

根据相似三角形原理，可以得到视差与深度关系：
$$\text{disparity}=x-x^{\prime }=\frac{Bf}{Z}$$

• x 和 x’ 分别表示对应于3D场景点X在两张图片中的位置。
• B 是两个相机之间的距离，即基线长度。
• f 是相机的焦距（像素）。
• Z 是物体到相机平面的距离（深度）。
• disparity 是同一个点在两个不同视角下的图像中的水平位移。一般会把图像在y轴对齐，之后沿着x轴搜索对应的像素。
  可参考opencv文档：https://docs.opencv.org/4.x/dd/d53/tutorial_py_depthmap.html

可以得到深度的计算公式为：
$$Z=\frac{Bf}{\text{disparity}}$$
可以看深度和视差成反比，深度焦距（像素）或者基线长度成正比关系，我们测量深度时候，肯定是希望越准确越好，因此焦距和基线长度在硬件上面需要好好选型，而视差是跟算法相关，视差的计算肯定是存在误差，这会导致深度估计肯定也有误差，因此像素匹配越精确越好。

焦距：

先补充一些焦距知识：
我们首先要确认研究的范围，假设研究深度是15m-24m，水平视野FOV是40°。对此，我们肯定会选取水平视野为40°的相机，如果对应镜头是8mm，图像大小是1920*1200，根据
$$\text{Sensor Size}=2\times f\times \tan (\frac{\text{FOV}}{2})$$
所以，传感器尺寸为

$$\text{Sensor Size}=2\times 8\times \tan (40^{\circ }/2)\approx 5.76\text{mm}$$

计算像素焦距：
像素焦距通常指的是将物理焦距转换到像素域的比例因子。可以通过下面的公式估算：
$$\text{Pixel Focal Length}=\frac{\text{Focal Length in mm}}{\text{Sensor Size in mm}}\times \text{Image Size in pixels}$$
因此，水平方向像素焦距fx为：
$$\begin{gathered} \text{Pixel Focal Length}=\frac{8}{5.76}\times 1920\approx 2667\text{ pixels} \\ （标定实测结果是2672pixel） \end{gathered}$$

平时工作我们会更换镜头，测试哪个焦距效果更好，那么假设保持传感器不变，更换16mm镜头，那么像素焦距和视野怎么变呢？
$$\text{FOV}=2\times \arctan \left(\frac{\text{Sensor Size}}{2\times f}\right)$$
所以新视野为：
$$\text{FOV}=2\times \arctan \left(\frac{\text{5.76}}{2\times 16}\right)\approx 20^{\circ }$$
$$\begin{gathered} \text{Pixel Focal Length}=\frac{16}{5.76}\times 1920\approx 5333\text{ pixels} \\ （标定实测结果是5419） \end{gathered}$$

对此，我们可以得到结论：

• 视野大小与焦距成反比关系。
• 像素焦距与物理焦距成正比关系。

双目视觉基础

在双目视觉系统中，假设两个相机的焦距为 $f$（单位：像素），基线长度（两相机光心之间的距离）为 $B$（单位：米），某点在左、右图像上的投影坐标分别为 $(x_l,y)$ 和 $(x_r,y)$，其中 $x_l$ 和 $x_r$ 分别是该点在左右图像中的横坐标，$y$ 是纵坐标（由于进行了极线校正，所有对应点都在同一水平线上）。则该点的视差$d$ 定义为：

$$d=x_l-x_r$$

深度计算公式

根据相似三角形原理，在已知焦距 $f$、基线 $B$ 以及视差 $d$ 的情况下，可以计算出物体到相机的距离 $Z$（即深度）如下：

$$Z=\frac{fB}{d}$$

这里的 $Z$ 表示的是物体相对于相机平面的实际距离。

深度误差分析

为了计算深度误差 $\Delta Z$，我们需要考虑视差测量误差 $\Delta d$ 对深度计算的影响。通过微分法对深度公式进行变换，我们可以得到深度误差与视差误差之间的关系：

$$Z=\frac{fB}{d}$$

对上式两边同时取微分，得：

$$dZ=-\frac{fB}{d^2}dd$$

从而，

$$\Delta Z=\left|\frac{dZ}{dd}\right|\Delta d=\frac{fB}{d^2}\Delta d$$

将 $Z=\frac{fB}{d}$ 代入上述公式中替换掉 $\frac{fB}{d^2}$，可得：

$$\Delta Z=\frac{Z^2\cdot \Delta d}{fB}$$

这个公式说明了深度误差与物体到相机的距离平方成正比，与视差误差成正比，而与焦距和基线长度成反比。这表明对于远距离物体，即使是小的视差误差也会导致较大的深度误差；相反，增加焦距或基线长度可以减小深度误差。

根据之前的参数（相机分辨率为1920x1200，焦距为2667像素，基线长度为400mm，工作距离在15m到24m之间），我们可以对视差误差进行评估。

计算过程

给定条件：

• 工作距离$Z$：15m 到 24m
• 焦距$f$：2667 像素
• 基线长度$B$：0.4 米

假设视差误差$\Delta d$为1像素（很理想的状态了，实际更大），我们可以计算出不同工作距离下的深度误差$\Delta Z$。

对于15米的工作距离

$$\Delta Z_{15m}=\frac{(15{)}^2\cdot 1}{2667\cdot 0.4}=\frac{225}{1066.8}\approx 0.2109\text{米}$$

对于24米的工作距离

$$\Delta Z_{24m}=\frac{(24{)}^2\cdot 1}{2667\cdot 0.4}=\frac{576}{1066.8}\approx 0.5721\text{米}$$

因此，在1像素的视差误差下，对于15米的工作距离，预计的深度误差大约为0.2109米；而对于24米的工作距离，深度误差大约为0.5721米。这个计算是基于理想的视差估计误差为1像素的情况。实际上，视差估计误差可能会大于1像素，特别是在存在图像噪声、光照变化或纹理缺乏的情况下，这将导致更大的深度误差。

从上面可以看到当距离较远时，对我们的匹配要求的准确度极高，这是很难做到的，因此需要升级硬件，从深度的误差公式，我们可以看到，在匹配算法无法优化的情况下，可以增大焦距和基线的长度，焦距增大n倍，则深度误差少n倍；基线长度长n倍，则深度误差少n倍。

标定的效果也会影响到深度误差：

焦距误差对深度误差的影响

假设焦距存在一个微小的误差 $\Delta f$，我们想要知道这个误差如何影响最终计算出来的深度$Z$。为此，我们需要对原始深度公式进行微分，以找到焦距误差$\Delta f$ 与深度误差 $\Delta Z$ 之间的关系。
原公式：
$$Z=\frac{fB}{d}$$
首先，将原始深度公式两边同时对 $f$ 求导，得到：

$$\frac{\partial Z}{\partial f}=\frac{B}{d}$$

这表示深度 $Z$ 对焦距 $f$ 的变化率。因此，对于一个小的焦距误差 $\Delta f$，对应的深度误差$\Delta Z$ 可以近似为：

$$\Delta Z\approx \frac{\partial Z}{\partial f}\Delta f=\frac{B}{d}\Delta f$$

但是，通常更关心的是相对误差，即深度误差相对于实际深度的比例。所以，我们将上面的结果转换成相对形式：

$$\frac{\Delta Z}{Z}\approx \frac{\Delta f}{f}$$

这是因为：

$$Z=\frac{fB}{d}$$

所以，

$$\frac{\Delta Z}{Z}=\frac{\frac{B}{d}\Delta f}{\frac{fB}{d}}=\frac{\Delta f}{f}$$

这意味着焦距误差导致的深度误差与其相对于焦距的比例相同。换句话说，如果焦距测量存在1%的误差，则计算出的深度也会有大约1%的误差。如果焦距有1%，此时深度是20m，则深度的误差就有0.2m。这种线性关系表明，在设计和校准双目视觉系统时，精确确定焦距是非常重要的，因为它直接影响到深度估计的准确性。

接下来推导 基线长度误差（即双目相机之间的距离误差）与 深度误差 之间的关系。

基线长度误差对深度误差的影响

原公式：
$$Z=\frac{fB}{d}$$

将深度公式视为关于 $B$ 的函数：

$$Z(B)=\frac{fB}{d}$$

对其求微分：

$$\frac{\partial Z}{\partial B}=\frac{f}{d}$$

所以，当基线长度存在一个小的误差 $\Delta B$ 时，对应的深度误差近似为：

$$\Delta Z\approx \frac{\partial Z}{\partial B}\cdot \Delta B=\frac{f}{d}\cdot \Delta B$$

也可以用相对误差形式表示：

$$\frac{\Delta Z}{Z}=\frac{\Delta B}{B}$$

因为：

$$\frac{\Delta Z}{Z}=\frac{\frac{f}{d}\Delta B}{\frac{fB}{d}}=\frac{\Delta B}{B}$$

绝对误差关系：

$$\Delta Z=\frac{f}{d}\cdot \Delta B$$
相对误差关系：

$$\frac{\Delta Z}{Z}=\frac{\Delta B}{B}$$

• 深度误差 $\Delta Z$ 与基线误差 $\Delta B$ 成正比。
• 如果你高估了基线长度（$\Delta B>0$），那么你也会高估物体的深度（$\Delta Z>0$）。
• 在相对误差层面，深度误差百分比等于基线误差百分比。例如，如果基线被低估了5%，则深度也会被低估5%。
• 这说明在双目系统中，精确测量基线长度非常关键，尤其是在远距离测量或高精度应用中。

计算（使用之前参数）

• 焦距 $f=2667$ 像素
• 基线 $B=0.4$ 米
• 工作距离 $Z=24$ 米
• 视差 $d=\frac{fB}{Z}=\frac{2667\times 0.4}{15}=72$ 像素

假设基线误差 $\Delta B=1$ mm = 0.001 m：

$$\Delta Z=\frac{f}{d}\cdot \Delta B=\frac{2667}{72}\cdot 0.001=37\cdot 0.001=0.037\text{ 米}=3.7\text{ cm}$$

所以在这种情况下，1毫米的基线误差会导致约3.7厘米的深度误差。