国科大-随机过程-多元相关性
探讨了多元相关性及其在随机过程中的应用。回顾了相关的基本概念，并扩展到多个随机变量之间的线性关系，使用相关矩阵作为工具来理解多元随机变量的联合分布。接着，讨论了去相关和主成分分析（PCA），展示了如何通过特征分解简化随机变量的理解。最后，介绍了宽平稳随机过程与复指数函数之间的等距同构关系，为后续学习高斯过程奠定了基础。
1. 多元相关性
多元相关性研究不仅限于两个变量，还涉及多个随机变量的情况。希望了解这些变量之间的联合分布，但通常获取联合分布是非常困难的。
1.1 相关矩阵
相关矩阵是理解多个随机变量之间关系的有效工具。通过将相关系数组织成矩阵形式，能够更清晰地分析和解读这些变量的关联性。相关矩阵的一个重要特性是它是对称的，因此可以通过特征值分解（Eigenvalue Decomposition）将其对角化。
公式
给定一个随机向量 \(\mathbf{X} = [X_1, X_2, \dots, X_n]^T\)，其相关矩阵 \(\mathbf{R}\) 定义为：
\[
\mathbf{R} = \mathbb{E}[(\mathbf{X} - \mathbb{E}[\mathbf ...
国科大-随机过程-随机微积分及其在随机过程中的重要性
1. 随机微积分的概述
随机微积分在随机过程中占据重要地位，尽管在工科课程中常被忽视。这种忽视的原因包括：
工程应用不依赖于随机微积分的知识，学生往往更关注实用性解决方案。
随机微积分的抽象性使学习困难，特别是对于初学者。
理解随机微积分有助于完善知识体系，特别是在阅读金融、管理等领域的文献时能够更好地理解相关概念。此外，掌握随机微积分可以拓宽职业发展视野。
核心概念：
微积分的核心是极限，而随机微积分关注的是随机变量的极限，这涉及多种收敛形式及其实际应用。
2. 函数收敛的基本概念
函数的收敛有多种表现，包括逐点收敛和一致收敛，这两种概念对微积分和随机变量的研究至关重要。
2.1 逐点收敛
定义为：对每个固定点 \( x \)，函数序列 \( F_n(x) \) 收敛于 \( F(x) \)。
收敛速度因点的不同而异。
公式表示：
\[
\lim_{n \to \infty} F_n(x) = F(x) \quad \text{对每个 } x
\]
2.2 一致收敛
一致收敛更为严格：
对每个 \( \epsilon > 0 \)，存在 \( N \)，使得对于所 ...
国科大-随机过程-随机过程及其相关函数详解
探讨了随机过程的相关函数及其正定性，强调了相关性在理解事物中的重要性。通过比较卷积神经网络（CNN）和Transformer架构，指出Transformer更注重数据之间的关联性，而卷积网络则依赖于局部特征。此外，详细解释了傅里叶变换与功率谱密度的关系，揭示了其物理意义和数学特性。
1. 相关函数的作用
相关函数是理解随机过程的重要工具，尤其在学习和研究中，通过对相关性的深入分析，可以更好地理解事物之间的关系，并有效提升模型的性能。
Transformer与卷积网络的区别：Transformer关注的是数据块之间的关联性，而卷积网络则更注重每个数据块的独立处理结果。Transformer在处理复杂数据时优势明显，尤其是在群体归属判断中，能够通过分析个体之间的关系实现更高效的判断，减少对个体特征的依赖。
宽平稳随机过程的相关函数是理解随机变量的重要基础，其特殊性在于局部特性与全局特性之间的紧密联系。
2. 正定性在随机过程中的应用
正定性是刻画宽平稳随机过程的相关函数的重要性质。将正定性的概念从矩阵扩展到函数，有助于我们更好地理解随机过程的相关性与性质。
正定函数的定义：涉及构造一 ...
国科大-随机过程-非平稳随机过程
探讨了平稳随机过程与非平稳随机过程的区别，强调了平稳性的重要性。随机过程在许多领域具有广泛应用，如通信系统、信号处理、金融市场等。理解平稳性和非平稳性有助于在这些领域中构建更有效的模型。
一、平稳随机过程与非平稳随机过程
1.1 平稳随机过程
平稳随机过程（Stationary Stochastic Process）是指统计特性（如均值、方差、协方差）不随时间变化的过程。对于一个平稳随机过程 \( X(t) \)，其均值 \( E[X(t)] \) 和自相关函数 \( R_X(t_1, t_2) \) 满足：
\[
E[X(t)] = \mu
\]
\[
R_X(t_1, t_2) = R_X(t_2 - t_1)
\]
其中，均值 \( \mu \) 为常数，自相关函数仅依赖于时间差 \( t_2 - t_1 \)。
1.2 非平稳随机过程
非平稳随机过程的统计特性随时间变化，因而更为复杂和多样。例如，布朗运动（Brownian Motion）是一个非平稳随机过程，其增量具有高斯分布，且增量的方差随时间线性增长。
1.3 周期平稳与宽平稳
周期平稳（Cyclostationary）是 ...
国科大-随机过程-随机过程及其相关函数详解
随机过程是概率论中的一个重要概念，涉及到一系列随机变量在不同时间点的演化过程。理解随机过程对于分析和处理诸如金融市场、信号处理等领域的随机现象至关重要。本节将深入探讨随机过程的定义、相关函数的性质及其在宽平稳过程中的表现。
1. 随机过程的基本概念
随机过程可以被视为一个随机函数，其输出是随机变量而非确定性值。对于给定的时间 \( T \)，随机过程会生成一个随机变量，因此，随机过程可以理解为随时间变化的随机变量序列。我们通过样本轨道来理解随机过程的特性，这些轨道可以是随机过程的实际表现，例如股票价格的变化曲线。
样本轨道: 随机过程的样本轨道代表了一个特定实验结果下的时间序列。例如，在金融市场中，样本轨道可以表示某个股票价格随时间的波动。
2. 相关函数与平稳性
相关函数是分析随机过程的重要工具，它描述了在不同时间点的随机变量之间的相关性。相关函数可以帮助我们更深入地理解随机过程的行为和特性。
2.1 相关函数的定义
相关函数 \( R_X(t_1, t_2) \) 定义为在时刻 \( t_1 \) 和 \( t_2 \) 的随机变量 \( X(t_1) \) 和 \( X(t_ ...
国科大-随机过程-随机过程概念及其分类
介绍随机过程的基本概念，重点学习随机变量之间的关联关系。课程分为两个学期，内容主要包括线性相关和马尔可夫性。线性相关是随机变量关联的基础，广泛应用于电子信息领域；马尔可夫性则相对复杂，涉及离散和连续时间的马尔可夫过程。
推荐教材为陆大金和张颢编写的教科书，以及帕普利斯（Papoulis）和Sharon Rose的参考书。
1. 随机过程与随机变量
随机过程是一门重要的学科，主要研究多个随机变量之间的关系与相互影响。这门课程旨在帮助学生深化对随机变量的理解，以便更好地应用于实际问题，尤其是在电子信息领域。
随机变量是概率论和随机过程的核心概念。它从样本空间映射到实数轴，可以通过分布函数和概率密度函数来刻画其特性。在随机过程的学习中，线性相关性和马尔可夫性是两个重要的研究方向。
2. 线性相关性
线性相关性对于理解随机变量之间的关系至关重要，尤其是在电子信息领域的应用。线性相关性的研究不仅仅局限于简单的线性回归分析，还包括对随机变量之间更复杂关联的探讨。
2.1 随机变量的独立性与相关性
当一个随机变量的变化不影响另一个随机变量的分布时，这两个变量是独立的。如果分布随着另一个变量的变化而变 ...
国科大-随机过程-写在前面
主管说后续对于纹理映射部分的工作可能会和AIGC相结合，也就是文生图、图生图等工作，输出更逼真、无缝的模型问题。正好对于stable diffusion扩散模型也比较感兴趣，既然后续会开展这方面的工作，那理论基础肯定还是要夯实。
看完论文基本了解原理后，感觉主要涉及到的点还是随机过程，虽然研究生的时候也学过相关的课程，但基本已经忘记了(老师讲的也很一般)，低分飘过(随机过程随机过、量子力学量力学、实变函数学十遍…)。几经打听发现清华大学的张颢老师在国科大的实景课堂开设了一门随机过程，讲的非常之优秀，于是蹭课之…
国科大-模式识别-写在后面
项目在进行点云语义分割的相关工作，有机器学习与模式识别方面的需求。希望完善自己关于统计学习方法与机器学习方法的理论知识，b站上正好有这个模式识别的课程，于是学习之。
整体课程可以按无监督学习和监督学习划分，配合<模式分类>教材，和李航最新的<机器学习方法>食用更佳。
国科大-模式识别-模式识别研究动态与未来方向
这堂课回顾了模式识别领域的基本概念，深入探讨了前沿的研究动态与未来发展趋势。刘老师强调经典理论与现代方法的结合，详细解析了生成模型与判别模型的区别及其应用。课程不仅涉及分类，还拓展到结构理解与推理，为未来研究提供了重要的思路，尤其是在开放环境下的模式识别、增量学习和可解释性等关键问题上。
模式识别的基础与前沿
研究动态与理论总结:
本课作为本学期的总结课，详细回顾了模式识别的经典理论并结合现代方法进行扩展，为未来科研奠定了坚实基础。经典理论对于研究与理解新兴技术至关重要。
课程深入比较了生成模型与判别模型，前者通过概率密度估计进行分类，后者通过直接判别函数实现类别区分，是模式分类的基础。
多分类器融合与贝叶斯决策:
利用贝叶斯决策理论组合不同分类器，提升分类性能。多模型融合利用它们的互补性以获得更优结果。
在参数学习中，生成模型和贝叶斯估计结合先验知识，为小样本情况下提供更强的鲁棒性。
结构模式识别与聚类技术
结构模式识别发展与应用:
课程探讨结构模式识别在模式分析中的独特应用，尤其当需要深入理解模式内在结构时，如文字识别中的笔画关系。
历史发展表明结构方法的 ...
国科大-模式识别-决策树与随机森林
决策树
决策树的重要性
决策树是机器学习中最重要的分类器之一。
C4.5 算法在 2006 年国际会议投票中被评为最重要的数据挖掘算法之一，其简单性和实用性使其备受青睐。
集成学习方法（如随机森林和 Boosting）也与决策树密切相关，它们通过组合多个弱分类器来提升整体性能。
决策树的工作原理是通过选择特征进行分叉，最终在叶子节点进行分类。
决策树的优势
决策树能够将特征空间划分为多个区域，实现非线性分类。
它能够处理离散特征，适用于数据挖掘领域的多种应用场景。
决策过程具有可解释性，与深度学习等复杂模型相比，每一步选择都可以被理解和追踪。
决策树能够处理离散变量和连续变量（通过离散化方法）。
决策树的局限性
决策树在处理不同类型的数据时表现可能存在差异，在某些情况下需要更复杂的模型。
决策树的分界面是平行于坐标轴的，这限制了其在某些数据分布下的有效性。
在特征分布不均的情况下，简单数据分布可以通过决策树快速分类，而复杂数据分布则可能需要其他算法来解决。
决策树的优化
可以通过数据变换和特征选择来优化决策树模型。
结合降维技术和决策树方法，可以获得更理想的结果。
决策 ...