探讨了多视图几何中的重建问题，特别是从未校准的相机中恢复3D结构和相机运动的方法。重点介绍了八点算法和四点算法，并讨论了平面假设的局限性。未校准重建的挑战在于缺乏相机的内参信息，这会导致多解和不确定性。通过使用基础矩阵，可以在多视图的情况下提取相机运动和场景结构。此外，还介绍了三焦点张量在多视图重建中的应用。

1. 未校准相机的重建

未校准相机的重建是指在缺乏相机内参信息的情况下，恢复相机的运动和三维结构。这通常发生在仅从图像中提取信息而没有相机的校准数据时。常见的情况是通过互联网下载的图像，通常这些图像不包含相机的内在参数信息。有时，一些高质量相机会在图像文件中嵌入部分相机参数，这可以帮助在缺乏校准信息时进行有效的重建。

1.1 八点算法与四点算法

八点算法和四点算法是两种常见的用于恢复3D结构的方法：

  • 八点算法：适用于任意场景的三维重建，利用至少八对点的匹配来估计基础矩阵。基础矩阵捕捉了两幅图像之间的几何关系，并且可以用于提取相机运动和3D结构。
  • 四点算法：主要用于平面场景的重建，基于世界平面假设。这种方法对平面假设的依赖较强，可能会影响重建的准确性，但在处理简单场景时非常有效。

1.2 极线约束与基础矩阵

在没有已知相机参数的情况下，极线约束是进行未校准相机重建的重要工具。极线约束描述了在不同视图之间对应点的几何关系。通过推导基础矩阵，可以从图像坐标推测相机的运动信息：

  • 基础矩阵：包含了相机的外部和内部参数信息，是描述两视图之间几何关系的关键工具。基础矩阵的秩为2，这一特性在从多个视图推导相机位置和方向时尤为重要。
  • 本质矩阵：当相机的内参已知时，基础矩阵可以进一步分解为本质矩阵。本质矩阵提供了相机的相对运动信息，通过固定奇异值可以简化估计过程。

2. 多视图重建的优点

多视图重建提供了更多的几何约束，这有助于提高重建的准确性。相比于单一视角，多视图下的点对应关系更容易捕捉场景的三维结构。这些多视图约束能够减少重建的不确定性，提供更精确的结果。

2.1 三焦点张量与三线性关系

三焦点张量是描述三视图几何关系的一个重要工具。它将三视图之间的几何关系通过张量耦合在一起，尤其是涉及三线性关系。这些关系在三维重建中扮演重要角色，特别是在场景结构复杂、平面假设不足的情况下：

  • 三焦点张量：在没有内参信息的情况下，三焦点张量可以通过六个点的对应关系进行估计，提供三视图间的几何关系。
  • 三线性关系：通过三视图之间的点对应和线对应，可以更好地理解和重建复杂的三维场景。

3. 齐次坐标与投影矩阵

齐次坐标是计算机视觉中用于表示三维几何的重要工具。通过引入一个额外的维度，齐次坐标能够简化投影变换的计算过程。这种表示方法在多视图几何中尤为重要：

  • 齐次坐标：通过引入第四维度，齐次坐标使得三维点可以方便地映射到二维图像平面。通过投影矩阵，可以有效地将三维点转换为图像坐标。
  • 投影矩阵：在进行多视图重建时，投影矩阵描述了从三维空间到二维图像的投影过程，包含了相机的外部和内部参数信息。