TUM-多视图几何-BA优化引入
详细探讨了多视图几何中的关键概念，特别是针对现实世界数据中的噪声问题。讨论了线性算法在两视图结构与运动重建中的局限性，并引入了“束调整”这一重要方法，旨在优化噪声数据的处理。束调整通过最小化非凸代价函数来解决三维重建问题，强调了高维非线性优化的挑战。还介绍了几种常用的非线性优化算法，包括梯度下降法和Levenberg-Marquardt算法，强调了这些方法在实际应用中的重要性和复杂性。
1. 噪声对三维重建的影响
在计算机视觉和三维重建中，现实世界的数据通常会受到噪声的影响，线性算法如八点算法（Eight-Point Algorithm）在这种情况下表现不佳。噪声会导致估算的旋转和位移参数偏离真实值，进而影响重建精度。因此，非线性优化技术和统计方法被广泛应用于处理噪声问题。
1.1 噪声与离群点
- 噪声：数据点稍微偏离真实位置。
- 离群点：完全错误的测量值，对重建结果的准确性影响较大。
线性算法在噪声条件下表现出不稳定性，而统计方法则通过建模噪声的概率分布来提高重建的鲁棒性。
2. 最大化后验估计与三维重建
通过对二维观察数据的估计，我们可以推断出理想的三维坐标。该过程涉及最大化后验估计（MAP），并考虑旋转和位移的概率分布，以获得最佳重建结果。
2.1 最大化后验估计
- 最大化后验估计结合了观察数据和先验知识，得到最有可能的三维重建结果。在结构运动（Structure from Motion, SfM）中，该步骤尤为关键。
- 均匀先验假设：在没有先验信息的情况下，简化问题为最大似然估计。
- 高斯噪声：假设数据中的噪声服从高斯分布，从而可以使用平方误差作为优化目标函数。
2.2 最小化重投影误差
最小化重投影误差是提高多视图重建准确性的重要方法。通过最小化图像点与三维点的重投影误差，能够有效提升三维结构的精确度。
3. 束调整在多视图几何中的应用
在多视图设置中，并非每个三维点都会在每张图像中可见。通过使用变量 \(\theta_{ij}\) 来表示点 \(j\) 是否在图像 \(i\) 中可见，可以忽略那些不可见的点，从而简化成本函数，这一过程被称为束调整（Bundle Adjustment）。
3.1 束调整的基本概念
- \(\theta_{ij}\) 变量：若点 \(j\) 在图像 \(i\) 中不可见，则将 \(\theta_{ij}\) 设置为0，从而忽略该点对成本函数的贡献。
- 束调整方法的多样性：文献中对束调整的不同参数化方法解释可能会导致混淆，尽管这些方法最终的成本函数形式相同。
3.2 坐标系统的选择
- 参考相机坐标系统的选择影响优化过程。通常选择第一个相机的坐标系统以简化计算，但在某些情况下，选择中央帧可能更有利。
3.3 优化问题中的非凸性
优化问题的成本函数通常是简单的二次函数，然而旋转和位移的约束并非凸的，因此无约束优化更为常见。通过李代数将旋转和位移参数转化为简单的无约束优化问题，但这并不保证全局最优解。
4. 非线性优化算法在三维重建中的应用
介绍了几种常用的非线性优化算法，包括梯度下降法、牛顿法和Levenberg-Marquardt算法，并探讨了这些算法在处理非线性最小二乘问题中的重要性。
4.1 梯度下降法
- 梯度下降法：通过计算成本函数的一阶导数来指导搜索方向，逐步逼近最优解。
- 步长选择：通过线搜索方法找到合适的步长，但在高维情况下，评估成本函数可能会变得非常昂贵。
- 收敛性：梯度下降法的收敛性受限于某些数学假设，可能会收敛到局部最小值。
4.2 自适应步长调整
- 自适应步长调整技术可以逐步增大步长，并在能量上升时再降低步长，适用于不同的优化问题。
4.3 二阶方法
- 牛顿法：通过计算二阶导数矩阵（Hessian）加速收敛。
- 高斯-牛顿算法：一种针对非线性最小二乘问题的变体，提高优化效率。
- Levenberg-Marquardt算法：结合牛顿法与梯度下降法的优点，为非线性最小二乘问题提供有效解决方案，是当前最常用的束调整算法。
5. 最小二乘法与其扩展
最小二乘法是一种广泛使用的技术，尤其是在处理带有高斯噪声的数据时。该方法通过最小化观测值与模型预测值之间的差异，广泛应用于各种数据分析领域。
5.1 广义最小二乘法
- 广义最小二乘估计（GLS）：通过引入协方差矩阵和权重，处理非凸优化问题。若协方差矩阵为对角矩阵，GLS可以简化为加权最小二乘问题。
5.2 迭代加权最小二乘法
- 迭代加权最小二乘法：通过迭代更新权重，将非线性问题转化为一系列凸问题，从而简化求解过程。
5.3 历史背景与影响
- 历史背景：最小二乘法由高斯和勒让德在18世纪独立提出，产生了深远的影响。
- 高斯噪声假设：高斯发现，在某些噪声分布情况下，算术平均数是最优解，这一发现对统计学的发展至关重要。
