An Overview of Image-to-3D, From Neural Rendering and Surface Reconstruction to Universal Generation
中文版
Prologue
This is a document I wrote last year (2025). It started because a few game developer friends were super interested in 3D generation. At the time, they were already using text-to-image tools in their workflows to generate various character models, props, and even 3DGS-based scene assets. They really wanted to understand how these productivity-liberating tools worked under the hood, so I hastily scribbled down this document for them, (hopefully) explaining things in plain English. It ...
A Deep Dive into Low-poly Reconstruction
中文版
Low-poly Reconstruction, which we might also call Vectorized 3D Reconstruction or Structured Reconstruction, centers on extracting structural, topological, and semantic information from scattered, unordered, and redundant dense point clouds or triangular meshes. Its core objective is to represent a model using points, lines, and planes (and their combinations) defined by analytical mathematical equations.
When the final model is completely composed of compact Planar Polygons, we have achieve ...
The Stanford Bunny in 3D Wonderland
中文版
In the world of digital imaging, the classic photo of “Lenna” in her feathered hat serves as the universal benchmark for image processing (for her story, see Lenna 97 (NSFW)). If we were to find its authoritative counterpart in the 3D domain, the Stanford Bunny is undoubtedly the one.
It even has its own Wikipedia page. On Reddit, it’s common to see users rendering or 3D-printing the model, with the comments section inevitably bringing up Lenna (haha). It was also inducted into the 3D Sample ...
图生三维概览, 从神经渲染、表面重建到万物生成
写在前面
图生三维大概有五个阶段:
第一阶段是古法时期(传统的多视图几何)[2010-2020]:使用SFM, MVS从图片中恢复相机位姿,然后生成稠密点云,现在已经非常的成熟,有colmap, openmvg等非常优秀的开源工具,还有视觉slam等一系列的工作(如果这种也算重建的话);
第二阶段是深度学习时期[2018-2021]:利用大量的二维数据进行单目深度估计,以及使用gan模型,进行3d gan生成的尝试;
第三阶段是神经渲染时期[2020-2023]:利用Nerf的可微分体渲染对单个场景进行过拟合,输出神经辐射场,随后也衍生出了 3DGS 等更高效的显式/混合表达;
第四个阶段是2D 先验(Diffusion)时期[2022-2024]:二维扩散模型的大火让研究者发现了从二维知识蒸馏监督三维生成的可行性,除了三渲二,还能“二训三”(代表就是引入 SDS 损失的 DreamFusion);
第五阶段是 3D 原生大模型(LRM/DiT)时期[2023-至今]:随着 3D VAE 的验证、DiT 架构的完善、海量 3D 数据的积累以及 Triplane 等高效结构的广泛应用,直 ...
观陶哲轩演讲-AI与数学-后有感
daf9e1003c8b639b6138b233a83323395b90968877e913b0f58851205f398a3248fa3c4d9c87adf6d4702a31f59d6555d22f5a7855435d0fef73a93294f8fd88c6d2c160140972c1e753d5d36e782cd755073a7f65518f553352a40a021d52c563a48570e53618e7efcaffd2af88a8ab927fd38bc6a01232ee8478c783b0ae27d0e2d8c42c00c776667535dad53d93c6567e383628a373b369d968426b922f348fa4c18953eb88f999bdc9c6ca3240a1bb322ae4baf5de1ea151ef2813d55273970179cfc6a29463c01d687bb7ff266421d1f1ec3ba8b4a609c1602e0a275272f6e2c91941d4432f29fb47aee9e53a002d3f738f92f9b7ae3 ...
大规模c++程序设计
TODO
国科大-随机过程-写在后面
daf9e1003c8b639b6138b233a8332339a7a477e5b6d725ab595bc013d38b3b8fd66eef4c2e7aa1b75adb35b464512592cad9a845b572f45cf5159f247c86fceacbcd485b81c2ede0112506e36635d01759a52053c316b58547d486283d533545880e3775e2dde5b3076d9e6bae21bc632650bd13ed5c87a619ec0080d469441294efd5930a8f916a92b9fb10154252f0632c2cd9b5b732e50d9d58b2988fb6c19eb5f96ac3b72a409f77727b0aefc005f94fa5de5c78a81dca69a04407c7553e071109582a75a37dd348dc53c6c0aea44e97c88ffd6afbc723eed54cd78ee82b021f90dc9f87d2d4f9ac48cc2ed06333f72da0aa17e182a72 ...
国科大-随机过程-连续时间马尔可夫链
主要讲解了连续时间的马尔可夫链,并探讨其在排队模型中的应用。首先回顾了马尔可夫链的基本概念,随后深入讨论了连续时间马尔可夫链的转移概率、CK方程,以及生灭过程在排队理论中的重要性,分析了MM1和MMK模型的特性,并通过Q矩阵的构建解决排队问题,最后讨论了排队系统的稳态条件以及服务率与到达率之间的关系对系统稳定性的影响。
2. 连续时间马尔可夫链的定义
连续时间马尔可夫链是一种随机过程,其特性为在任意两个时刻之间,过程只能在特定状态之间进行转移,而转移的时间间隔是不固定的。这种模型相比离散时间马尔可夫链更加复杂,能够更真实地模拟许多实际现象。
2.1 马尔可夫性质
马尔可夫性质是指未来的状态仅依赖于当前状态,与过去状态无关。这一特性在离散和连续时间模型中均成立。这意味着通过当前的状态可以准确推测出未来的行为,从而简化了复杂系统的分析。
3. CK方程
CK方程是描述连续时间马尔可夫链状态转移行为的重要方程,它通过对转移过程的空间分解来更好地分析状态之间的转移,帮助理解复杂的转移结构。
4. 转移概率的计算
在离散时间马尔可夫链中,转移概率的计算通过固定的最小时间单元的递推关系完成。借助数 ...
国科大-随机过程-马尔可夫链的转移概率与极限行为
探讨了马尔可夫链的转移概率及其极限行为,介绍了不可约性与非周期性对转移概率极限存在的重要性。通过递推方程,教授展示了如何求解转移概率的极限,并引入了平稳分布的概念,强调了平稳分布与极限分布的区别。此外,还通过实际例子,如赌徒输光问题,阐述了吸收概率和触及时间的计算方法,并提到连续时间马尔可夫链的相关内容。
1. 转移概率的极限行为
1.1 特征与不可约性
马尔可夫链的转移概率在极限行为上具有两个重要特征:
与初始状态无关:转移概率的极限不受初始状态的影响。
与时间无关:在特定的条件下,随机过程会收敛为一个稳定的随机变量。
不可约性是马尔可夫链转移概率极限存在的基本条件之一。所有状态之间必须相通,以保证状态特征的一致性。常反性和周期性也是关系到转移概率有效性的重要因素。
1.2 非周期性与极限存在
在不可约的基础上,还需要引入非周期性限制,确保转移概率的极限存在。这意味着如果某个状态在潜在的路径上访问频率被固定,状态就有可能回归。通过构建递推关系,可以进一步求解转移概率的极限,产生后退方程和前进方程提供了不同的计算视角。
1.3 极限的矩阵性质
如果转移概率存在极限,那么这个极限特征 ...
国科大-随机过程-马尔可夫链中的常反性及其相关概念
讨论了马尔可夫链中的常反性,以及其与转移概率、首次返回概率之间的关系。常反性是描述从某个状态出发,首次返回该状态的概率总和为一的性质。
1. 常反性的定义
常反性指的是某个状态的性质,具体来说,若从状态 \(i\) 出发,首次返回该状态的概率和为1,则称该状态为常反状态。常反性的公式表达为:
\[ \sum_{n=1}^{\infty} P_{ii}(n) = 1 \]
其中 \(P_{ii}(n)\) 表示从状态 \(i\) 在 \(n\) 步后返回到状态 \(i\) 的概率。
2. 转移概率与首次返回概率的关系
2.1 转移概率
转移概率是描述从一个状态转移到另一个状态的概率,通常用转移概率矩阵表示。转移概率的计算较为简单,且其和可能是发散的,这为判断常反性提供了便利。
2.2 首次返回概率
首次返回概率则是指从某一状态首次返回到该状态的概率。这些路径不允许重复,因此其求和产生的结果小于等于1。这种性质使得理解状态的访问频率变得更加清晰。
3. 随机游动的常反性
3.1 一维随机游动
在一维随机游动中,每个状态的转移只涉及上下两种可能。通过对转移概率的分析,能得出随机游动的返回频率 ...
