TUM-多视图几何-多视角重建
讨论了多视图几何中的重构问题，特别是如何将从两个视图学到的知识推广到多个视图。介绍了极线约束和八点算法的变体，以及在多视图情况下的推广。重点在于如何将运动估计与结构估计分离，利用投影矩阵和深度参数进行优化。讲座还探讨了如何通过矩阵的秩约束来确保存在一致的三维重构，并引入了三线性约束，强调了在多图像情况下的重构信息比单对图像更丰富。
从多视角进行重建的概念
多视图几何重建涉及将两视图技术推广至多视图设置。这包括扩展基础约束和算法，以同步估计摄像机运动与三维结构。
运动估计与结构估计
运动估计与结构估计问题在计算机视觉中被称为结构与运动（Structure from Motion, SfM）。
尤其是在机器人领域，通常被称为视觉SLAM（Simultaneous Localization and Mapping）。这种方法帮助在动态环境中实现同时定位和建图。
投影方程整合为一个紧凑的矩阵形式简化了信息处理，有助于理解和计算。
3D点的投影模型
多视角设置中，3D点的投影模型涉及多个相机的投影矩阵和深度参数，这些通常是未知的，但必须满足线性方程系统，以便有效地进行结构与运动估计。
相机投 ...
TUM-多视图几何-未校准相机的重建
探讨了多视图几何中的重建问题，特别是从未校准的相机中恢复3D结构和相机运动的方法。重点介绍了八点算法和四点算法，并讨论了平面假设的局限性。未校准重建的挑战在于缺乏相机的内参信息，这会导致多解和不确定性。通过使用基础矩阵，可以在多视图的情况下提取相机运动和场景结构。此外，还介绍了三焦点张量在多视图重建中的应用。
1. 未校准相机的重建
未校准相机的重建是指在缺乏相机内参信息的情况下，恢复相机的运动和三维结构。这通常发生在仅从图像中提取信息而没有相机的校准数据时。常见的情况是通过互联网下载的图像，通常这些图像不包含相机的内在参数信息。有时，一些高质量相机会在图像文件中嵌入部分相机参数，这可以帮助在缺乏校准信息时进行有效的重建。
1.1 八点算法与四点算法
八点算法和四点算法是两种常见的用于恢复3D结构的方法：
八点算法：适用于任意场景的三维重建，利用至少八对点的匹配来估计基础矩阵。基础矩阵捕捉了两幅图像之间的几何关系，并且可以用于提取相机运动和3D结构。
四点算法：主要用于平面场景的重建，基于世界平面假设。这种方法对平面假设的依赖较强，可能会影响重建的准确性，但在处理简单场景时非常有效。 ...
TUM-多视图几何-八点法和四点法
讨论了多视几何中的八点算法和四点算法，重点在于如何从两个视图中估计相机的运动和三维结构。八点算法通过至少八个对应点来解耦相机运动和三维点坐标的重建，利用极线约束来建立2D坐标与相机运动参数之间的关系。四点算法则假设所有点均位于同一平面上，仅需四个点便可实现重建，这在许多实际应用中非常有效。通过线性代数方法，这些算法能够有效地解决结构与运动估计问题。
八点算法概述
八点算法是由 Longuet-Higgins 在1981年提出的。这一算法能够通过观察两个视图中的至少八个对应点，估计出相机的运动和三维结构。八点算法不需要已知的3D坐标信息，而是通过极线几何约束来推导出相机的运动参数。
极线几何约束
极线几何是多视几何中的一个重要概念。给定一对点在两个图像中的匹配，点在一个图像中的对应极线定义了它在另一个图像中的潜在位置。八点算法通过以下步骤来实现：
构建矩阵系统：使用至少八对点，构建一个矩阵系统来表达图像坐标之间的关系。
解方程：通过线性代数方法求解该矩阵系统，提取出基础矩阵 \( F \)，并由此推导出相机的运动参数。
本质矩阵与奇异值分解
本质矩阵 \( E \) 是描述两个摄像机 ...
TUM-多视图几何-多视图几何中的重建问题1
本次探讨了多视图几何中的重建问题，重点在于如何从两幅图像中恢复相机运动和三维场景。通过讨论基本假设、相机运动的估计方法、极几何约束、以及八点算法等内容，系统地介绍了重建过程中的核心概念和挑战。
1. 重建问题的基本假设
在多视图几何中，重建问题涉及从两个视图中恢复相机的运动和三维场景。为了解决这一复杂问题，通常需要做出以下基本假设：
对应点假设：假设在两幅图像中存在一组已知的对应点，这些点来自同一场景的不同视角。尽管在实际应用中，匹配可能不完美，但初步分析时假设匹配是正确的。
静态场景假设：假设场景是静态的，即场景中的三维点在从一幅图像到另一幅图像的过程中没有移动。尽管这个假设在动态场景中可能不成立，但在初步分析中保持静态假设有助于简化问题。
固定相机参数假设：假设相机的内在参数已知且固定。这意味着在拍摄过程中，相机的焦距、光圈等参数不发生变化，这一假设简化了模型的复杂性。
2. 相机运动和三维位置的估计
在计算机视觉中，估计相机运动和三维点的位置是重建问题的核心挑战。这是一个典型的“鸡与蛋”问题，通过估计相机运动或三维点的位置，可以实现有效的场景重建。
相机运动与三维位置的相互 ...
TUM-多视图几何-光流估计方法
本讲座围绕多视图几何中的重建问题展开，特别强调了图像间对应点的寻找和处理方法。核心内容包括小基线和大基线的跟踪算法、光流假设、Lucas-Kanade方法、结构张量的概念，以及大位移情况下的挑战和解决方案。
1. 多视图重建中的对应点问题
在多视图重建中，关键任务之一是找到图像之间的对应点。假设我们有来自两个不同视角的图像，通过这些图像，我们可以推断相机的运动和三维点的位置。这种方法是图像重建的经典手段。
1.1 小基线跟踪与光流假设
小基线跟踪: 在小基线情况下，图像间的位移较小，光流法通常表现良好。这种方法主要用于处理图像间的小位移。
光流假设: 光流假设认为，图像亮度在时间上的变化反映了物体的运动。其基本假设包括亮度恒定性和运动一致性。
1.2 大基线跟踪与非刚性变形
大基线跟踪: 当图像间存在大位移或非刚性变形时，传统的光流方法难以适用。因此需要使用更复杂的算法，如描述符匹配或归一化互相关。
亮度恒定性假设: 尽管亮度恒定性假设不总是成立，尤其是在大位移的场景中，它仍然是估计图像间运动的基本假设之一。
2. 亮度恒定性假设及其应用
在图像处理和计算机视觉 ...
TUM-多视图几何-重建三维场景
讨论了如何从图像中的颜色信息提取几何点并重建三维场景。尽管图像包含丰富的信息，但仅通过少量特征点进行重建可能会丢失重要信息。介绍了在小位移和大位移情况下的点跟踪和对应关系问题，并强调了如何在计算效率和精度之间取得平衡。此外，还介绍了一些经典的光流估计方法，如Lucas-Kanade和Horn-Schunck，并探讨了亮度恒定假设在实际应用中的局限性和挑战。
1. 图像颜色信息与三维重建
首先讨论了从图像中的颜色信息恢复几何点的挑战。这一过程涉及将光度信息转换为三维几何信息，并探讨了如何在图像中识别和关联独特的特征点。
颜色与几何信息的转换: 从图像中提取几何信息的挑战在于，观察到的仅是颜色而不是实际的几何点。为了从颜色中恢复三维点，必须有效地将光度值转换为几何概念。
特征点的识别: 在计算机视觉中，成功的三维重建依赖于识别图像中的独特特征点。特征点必须具有足够的独特性，以便在不同图像中能够正确地进行匹配和关联。
特征描述符的设计: 特征描述符的设计是一个重要的研究领域。它们需要具备唯一性和不变性，以便在不同的光照和视角下仍能准确识别相同的特征点，这对三维重建至关重要。
...
TUM-多视图几何-多视几何与透视投影：从图像到三维重建
深入探讨了多视几何中的透视投影，重点是从图像中恢复三维坐标的过程。
1. 多视几何与图像形成过程
多视几何的核心在于理解从三维点到二维图像平面的投影过程，从而实现三维坐标的逆向恢复。通过对投影的基本概念的掌握，我们可以更有效地处理和分析图像数据。
投影的基本概念
投影是指将三维坐标转换为二维图像坐标的过程。该过程涉及相机的位置和方向，这些因素决定了投影的结果。透视投影（Perspective Projection）是一种常见的投影方式，其数学表达式如下：
$$
\begin{aligned}
x’ &= \frac{f \cdot x}{z}, \
y’ &= \frac{f \cdot y}{z},
\end{aligned}
$$
其中，$(x, y, z)$ 表示三维空间中的点，$(x’, y’)$ 表示在图像平面上的对应点，$f$ 是焦距，决定了投影的缩放程度。
2. 透视投影的历史背景
透视投影的发展经历了多个阶段。文艺复兴时期，艺术家重新发现了透视法，并通过艺术作品展示了透视投影在创造深度感方面的重要作用。
透视投影在艺术中的应用
文艺复兴时期的艺术家，如达 ...
TUM-多视图几何-李群与李代数
在多视图几何中，刚体运动的建模可以通过李群（Lie Group）和李代数（Lie Algebra）来实现。这些数学工具能够简化旋转和平移的表示，并为优化问题提供了有效的解决方案。本文将详细探讨李群SE(3)和李代数se(3)的应用、指数映射的使用，以及如何通过这些工具来处理相机的运动和坐标变换。
李群与李代数的基本概念
李群是一类具有连续变换性质的群，用于描述刚体运动中的旋转和平移组合。SE(3)是一个特殊的李群，用于表示三维空间中的刚体运动，包括旋转和位移。而李代数是李群在单位元素附近的切空间，表示为se(3)。通过李代数，我们能够更直观地处理刚体运动中的微小变化。
李群SE(3)与李代数se(3)
李群SE(3): 描述了旋转和平移的组合，是三维刚体运动的基本结构。它由一个旋转矩阵和一个平移向量组成，通常表示为一个4x4的矩阵。
李代数se(3): 是李群SE(3)的切空间。它由一个3x3的斜对称矩阵（表示旋转）和一个3x1的向量（表示平移）构成，用于描述刚体运动的微小变化。
刚体运动的六自由度表示
刚体运动可以通过六个自由度来表示，包括三个旋转自由度和三个平移自由度。与使用4 ...
MVG-多视图几何-写在前面
感觉对于视觉slam和三维重建的相关知识点掌握的都特别散乱，想系统的梳理梳理，于是选了TMU的这门课程，边学习边整理。关键这本书买的是影印版，比较模糊，还是先看TMU的视频了。
TUM-多视图几何-刚体运动建模及其应用
多视图几何是计算机视觉中的一个重要领域，尤其是在3D重建中。刚体运动可以通过数学工具如李群和李代数来建模，它们为相机运动的优化提供了强大的框架。在这种建模中，通过指数映射可以在李群和李代数之间进行转换，进而有效地处理旋转和平移的组合。
2. 三维空间与相机运动建模
2.1 李群与李代数
李群是一个具有连续变换结构的群，用于描述相机的连续运动。李代数是李群在单位元附近的切空间，用于描述微小变换。
李群 (\(G\))：表示刚体运动的连续变换群，具有群的性质（封闭性、结合性、单位元、逆元）。
李代数 (\(\mathfrak{g}\))：描述了李群在单位元附近的局部性质，是李群在单位元处的切空间。
在三维欧几里得空间中，刚体运动可以用特殊欧氏群 \(SE(3)\) 来表示，它结合了旋转和平移。这些数学工具允许我们在复杂的场景中进行相机姿态的优化和三维重建。
2.2 三维空间中的点和向量
在三维空间中，点可以用三个坐标来表示，这些坐标与 \( \mathbb{R}^3 \) 中的元素相关联。向量的概念在多视图几何中尤为重要，包括自由向量和限制向量。自由向量在欧几里得空间中构成一个线性空间 ...