MM's Journal of Technology

daf9e1003c8b639b6138b233a83323399fc60797af84e9e02eb70b164d8b8f5cfd09b93f559d8ef885bc0a227eb79e80da64bf794bd8a00d346d5a297b0718fffcbb518b65599495a2f8a9054280a6676b40678af54b7a8c47ab889eb020fdaa00113359645f2ddcdbd34fb6d7baefa214b5b3351f0c9545ebfd6ff1affb56680b7e812eacb4fc0bfb3f794ad68ff3897172baeabc72a2d48f343451d52b9ee6e7100fe1dfaef7acae71074ea14587268f854a0eebf6d2a1490e3853cd12ae7a685417cd95a6636f4409d0312efbf23c53df7217e1b63bc910b3fbe722366823290f3fa7623208dec421264c2c8c7e4e4bd6af7187d35cb02 ...

老师在书中写的三要素:模型\策略\方法这个总结的太棒了

这个是黎博士在深蓝学院开授的课程，他是清华大学本科，新加坡国立大学的博士，现在是高仙机器人的总监.因为是第一门点云相关的深度学习课程，当时看到了比较惊喜.但是听了前面几节课程，感觉和自己想要的有点出入(不是说讲的不好，知识内容不是我想要的)，等后续再看看

因为疫情防控，过年又没有回家，留在杭州。为了巩固下关于三维重建相关的基础知识，利用这个假期学完了TUM这门多视图几何的课程，对应的教材也叫多视图几何，都是十年前的老课和老书了(看来三维视觉的基础领域没咋推进啊 或者说已经到瓶颈了？)。 这个老师已经成为了计算机视觉业内大佬，种一棵树最好的时间就是十年前，然后就是现在(话说这老师真是文质彬彬，第一次感觉到了温文儒雅的实际模样https://www.youtube.com/watch?v=jYgxnnu4oTc&list=PLTBdjV_4f-EJn6udZ34tht9EVIW7lbeo4 主要是这个英文课程，没有中文一天看两个小时就已经非常累了，讲的也确实特别好，等我完全消化了再回来补一补体会

探讨了多视角几何中的变分方法，特别是如何应用这些方法进行三维重建。教授首先介绍了几何形状的显式和隐式表示方法，深入探讨了如何通过光度一致性优化几何形状，并结合轮廓一致性的方法来克服传统最小表面方法的局限性。最后展示了如何利用相机捕捉动态场景的几何和颜色信息，强调了图像重建技术在艺术、体育分析以及虚拟现实中的潜在应用。 1. 多视角重建的变分方法与几何表示 1.1 显式几何表示法 多视角重建的变分方法涉及通过优化几何形状以使其与图像保持一致。显式几何表示法，如样条函数，广泛应用于汽车表面建模中。样条曲线和样条曲面通过控制点和基函数定义形状，这种方法自20世纪50年代和60年代以来推动了设计领域的创新。 显式几何表示的特点包括： 样条曲线和曲面生成：通过控制点和参数化函数在二维或三维空间中定义复杂形状。这种技术在计算机图形学和计算机视觉中具有广泛应用。 应用领域：用于定义和优化汽车表面、建筑设计、动画制作等领域的复杂几何形状。 1.2 隐式几何表示法 隐式几何表示法通过指示函数（Indicator Function）来区分形状的内部和外部，这种方法具有处理不同拓扑结构对象的能力，使得重 ...

讨论了多视图几何中的稀疏与密集重建技术。传统方法主要依赖点对应关系来重建三维结构，但仅依赖少量点并不足够。在稀疏特征点方法下，已实现了实时重建，这些技术广泛应用于增强现实、医疗手术等领域。随着处理技术的进步，密集重建也逐渐成为现实。变分方法作为一种强大的计算范式，不仅用于图像去噪、分割和运动估计等任务，还可以通过欧拉-拉格朗日方程进一步优化图像处理结果。 稀疏特征点与密集重建 1. 稀疏特征点方法 在多视图几何学中，重建问题主要涉及从稀疏特征点中估计三维结构及相机运动。尽管传统方法依赖于通过三维点插值构建三维模型，但这种方法在点间缺乏足够信息时可能导致模型不准确。 挑战：从稀疏点推断连续世界的几何形状。通常，这通过将三维点连接成三角网格来实现，但信息不足时可能不够精确。 应用：实时计算在许多应用中至关重要，如计算机辅助外科手术中，医生需要实时叠加三维模型，以获取关键解剖结构的位置。 2. 密集重建技术 随着图形处理技术的发展，密集重建已成为可能。相比稀疏重建，密集重建能够在整个图像平面上进行几何重建，从而大幅提高了计算机视觉的应用潜力。 优势：密集重建不仅能处理稀疏特征点，还能重 ...

探讨了多视图几何中的直接方法，尤其是在同时定位与地图构建（SLAM）中的应用。直接方法通过避免特征提取和匹配，直接从图像数据中重建几何形状和相机运动。由于其较高的效率和准确性，这些方法在密集几何重建和动态场景中的相机跟踪方面表现出色。此外，还介绍了如何通过循环闭合技术确保全局一致性，以提高大规模重建的精度和效率。 1. 直接方法在SLAM中的应用 优势与挑战 直接方法相较于传统的SLAM技术具有显著的优势。这些方法通过直接从图像中获取三维几何信息，避免了特征提取和匹配的中间步骤，从而提升了重建的速度和准确性。中还提到半稠密重建方法，指出在亮度恒定区域提取三维信息的难度。这种情况虽然在自然场景中不常见，但在人工环境中，例如白色墙壁处理时会成为挑战。 颜色一致性在重建中的作用 在直接方法中，图像的颜色信息尤为重要，特别是在进行三维重建时，颜色一致性有助于找到图像之间的对应关系。这种策略在静态场景中效果显著，并且可以实现实时处理。 2. 基于图像颜色信息的深度图计算 深度图的计算方法 利用图像的颜色信息直接计算深度图是一种有效的几何重建方法。该方法通过参数化相机运动和深度估计来提高几何重 ...

探讨了多视图几何中的束调整（Bundle Adjustment）技术，重点介绍了如何通过非线性最小二乘法优化3D重建问题。讲师详细解释了如何通过最小化重投影误差来处理2D坐标与真实3D模型之间的关系，并介绍了牛顿法和高斯-牛顿法的迭代优化技术。此外，还讨论了一种混合方法——Levenberg-Marquardt算法，该算法结合了牛顿法和梯度下降法的优点。最后，展示了如何利用互联网图像进行3D重建，并探讨了实时重建技术的发展。 重投影误差的最小化 重投影误差的定义与重要性 重投影误差是将观察到的2D坐标与模型预测的2D坐标之间的差距。通过最小化这种误差，可以有效地重建场景中的3D坐标，解决非线性优化问题。这种误差的定义和重要性在于，通过衡量观察到的2D点与实际3D模型投影之间的距离，可以优化场景重建的准确性。 重投影误差的数学表达式为： \[ \text{Reprojection Error} = \sum_{i=1}^{N} \left| \mathbf{p}_i - \mathbf{\hat{p}}_i \right|^2 \] 其中，\(\mathbf{p}_i\) 是观察到的2D ...

详细探讨了多视图几何中的关键概念，特别是针对现实世界数据中的噪声问题。讨论了线性算法在两视图结构与运动重建中的局限性，并引入了“束调整”这一重要方法，旨在优化噪声数据的处理。束调整通过最小化非凸代价函数来解决三维重建问题，强调了高维非线性优化的挑战。还介绍了几种常用的非线性优化算法，包括梯度下降法和Levenberg-Marquardt算法，强调了这些方法在实际应用中的重要性和复杂性。 1. 噪声对三维重建的影响 在计算机视觉和三维重建中，现实世界的数据通常会受到噪声的影响，线性算法如八点算法（Eight-Point Algorithm）在这种情况下表现不佳。噪声会导致估算的旋转和位移参数偏离真实值，进而影响重建精度。因此，非线性优化技术和统计方法被广泛应用于处理噪声问题。 1.1 噪声与离群点 噪声：数据点稍微偏离真实位置。 离群点：完全错误的测量值，对重建结果的准确性影响较大。 线性算法在噪声条件下表现出不稳定性，而统计方法则通过建模噪声的概率分布来提高重建的鲁棒性。 2. 最大化后验估计与三维重建 通过对二维观察数据的估计，我们可以推断出理想的三维坐标。该过程涉及最大化后验估 ...

探讨了多视图几何中的重建问题，特别是如何利用线性代数策略分离结构与运动。通过分析多视图矩阵的秩约束，解释了如何编码来自多个视图的信息，并探讨了不同秩情况下的重建可能性。课程内容涵盖了秩为零、秩为一和秩大于一的情况，以及如何在实际应用中处理这些情况。此外，还介绍了点和线的多视图矩阵，强调了在重建时所需的图像数量和线性依赖关系的重要性。最后，提到将介绍变分技术以进行三维重建。 1. 多视图几何概述 多视图几何是计算机视觉中的一个重要领域，研究如何从多个不同的视角中提取信息，以重建三维结构和相机运动。重建问题可以分为两个主要部分： 结构重建：利用多个视角的图像数据来重建场景中的三维点。 运动估计：通过分析多视角的图像数据，估计摄像机的运动轨迹。 1.1 矩阵的秩与重建唯一性 在多视角几何学的课程中，讨论了如何从多个视角重建结构与运动。重点在于利用矩阵的秩约束来处理三维点的唯一性问题，这对于准确性至关重要。秩的概念对于判断矩阵的线性依赖性至关重要。 秩为零：矩阵的所有元素为零，表示数据没有提供任何有效的信息，无法进行重建。 秩为一：矩阵中的列或行向量线性相关，表示所有数据点共线，导致在重 ...