国科大-随机过程-随机过程及其相关函数详解
探讨了随机过程的相关函数及其正定性，强调了相关性在理解事物中的重要性。通过比较卷积神经网络（CNN）和Transformer架构，指出Transformer更注重数据之间的关联性，而卷积网络则依赖于局部特征。此外，详细解释了傅里叶变换与功率谱密度的关系，揭示了其物理意义和数学特性。
1. 相关函数的作用
相关函数是理解随机过程的重要工具，尤其在学习和研究中，通过对相关性的深入分析，可以更好地理解事物之间的关系，并有效提升模型的性能。
Transformer与卷积网络的区别：Transformer关注的是数据块之间的关联性，而卷积网络则更注重每个数据块的独立处理结果。Transformer在处理复杂数据时优势明显，尤其是在群体归属判断中，能够通过分析个体之间的关系实现更高效的判断，减少对个体特征的依赖。
宽平稳随机过程的相关函数是理解随机变量的重要基础，其特殊性在于局部特性与全局特性之间的紧密联系。
2. 正定性在随机过程中的应用
正定性是刻画宽平稳随机过程的相关函数的重要性质。将正定性的概念从矩阵扩展到函数，有助于我们更好地理解随机过程的相关性与性质。
正定函数的定义：涉及构造一个矩 ...
国科大-随机过程-非平稳随机过程
探讨了平稳随机过程与非平稳随机过程的区别，强调了平稳性的重要性。随机过程在许多领域具有广泛应用，如通信系统、信号处理、金融市场等。理解平稳性和非平稳性有助于在这些领域中构建更有效的模型。
一、平稳随机过程与非平稳随机过程1.1 平稳随机过程平稳随机过程（Stationary Stochastic Process）是指统计特性（如均值、方差、协方差）不随时间变化的过程。对于一个平稳随机过程 \( X(t) \)，其均值 \( E[X(t)] \) 和自相关函数 \( R_X(t_1, t_2) \) 满足：\[E[X(t)] = \mu\]\[R_X(t_1, t_2) = R_X(t_2 - t_1)\]其中，均值 \( \mu \) 为常数，自相关函数仅依赖于时间差 \( t_2 - t_1 \)。
1.2 非平稳随机过程非平稳随机过程的统计特性随时间变化，因而更为复杂和多样。例如，布朗运动（Brownian Motion）是一个非平稳随机过程，其增量具有高斯分布，且增量的方差随时间线性增长。
1.3 周期平稳与宽平稳周期平稳（Cyclostationary）是非平稳随机过程的一种特 ...
国科大-随机过程-随机过程及其相关函数详解
随机过程是概率论中的一个重要概念，涉及到一系列随机变量在不同时间点的演化过程。理解随机过程对于分析和处理诸如金融市场、信号处理等领域的随机现象至关重要。本节将深入探讨随机过程的定义、相关函数的性质及其在宽平稳过程中的表现。
1. 随机过程的基本概念随机过程可以被视为一个随机函数，其输出是随机变量而非确定性值。对于给定的时间 \( T \)，随机过程会生成一个随机变量，因此，随机过程可以理解为随时间变化的随机变量序列。我们通过样本轨道来理解随机过程的特性，这些轨道可以是随机过程的实际表现，例如股票价格的变化曲线。
样本轨道: 随机过程的样本轨道代表了一个特定实验结果下的时间序列。例如，在金融市场中，样本轨道可以表示某个股票价格随时间的波动。
2. 相关函数与平稳性相关函数是分析随机过程的重要工具，它描述了在不同时间点的随机变量之间的相关性。相关函数可以帮助我们更深入地理解随机过程的行为和特性。
2.1 相关函数的定义相关函数 \( R_X(t_1, t_2) \) 定义为在时刻 \( t_1 \) 和 \( t_2 \) 的随机变量 \( X(t_1) \) 和 \( X(t_2) ...
国科大-随机过程-随机过程概念及其分类
介绍随机过程的基本概念，重点学习随机变量之间的关联关系。课程分为两个学期，内容主要包括线性相关和马尔可夫性。线性相关是随机变量关联的基础，广泛应用于电子信息领域；马尔可夫性则相对复杂，涉及离散和连续时间的马尔可夫过程。
推荐教材为陆大金和张颢编写的教科书，以及帕普利斯（Papoulis）和Sharon Rose的参考书。
1. 随机过程与随机变量随机过程是一门重要的学科，主要研究多个随机变量之间的关系与相互影响。这门课程旨在帮助学生深化对随机变量的理解，以便更好地应用于实际问题，尤其是在电子信息领域。
随机变量是概率论和随机过程的核心概念。它从样本空间映射到实数轴，可以通过分布函数和概率密度函数来刻画其特性。在随机过程的学习中，线性相关性和马尔可夫性是两个重要的研究方向。
2. 线性相关性线性相关性对于理解随机变量之间的关系至关重要，尤其是在电子信息领域的应用。线性相关性的研究不仅仅局限于简单的线性回归分析，还包括对随机变量之间更复杂关联的探讨。
2.1 随机变量的独立性与相关性当一个随机变量的变化不影响另一个随机变量的分布时，这两个变量是独立的。如果分布随着另一个变量的变化而变化，则 ...
国科大-随机过程-写在前面
主管说后续对于纹理映射部分的工作可能会和AIGC相结合，也就是文生图、图生图等工作，输出更逼真、无缝的模型问题。正好对于stable diffusion扩散模型也比较感兴趣，既然后续会开展这方面的工作，那理论基础肯定还是要夯实。
看完论文基本了解原理后，感觉主要涉及到的点还是随机过程，虽然研究生的时候也学过相关的课程，但基本已经忘记了(老师讲的也很一般)，低分飘过(随机过程随机过、量子力学量力学、实变函数学十遍…)。几经打听发现清华大学的张颢老师在国科大的实景课堂开设了一门随机过程，讲的非常之优秀，于是蹭课之…
国科大-模式识别-写在后面
项目在进行点云语义分割的相关工作，有机器学习与模式识别方面的需求。希望完善自己关于统计学习方法与机器学习方法的理论知识，b站上正好有这个模式识别的课程，于是学习之。
整体课程可以按无监督学习和监督学习划分，配合<模式分类>教材，和李航最新的<机器学习方法>食用更佳。
国科大-模式识别-模式识别研究动态与未来方向
这堂课回顾了模式识别领域的基本概念，深入探讨了前沿的研究动态与未来发展趋势。刘老师强调经典理论与现代方法的结合，详细解析了生成模型与判别模型的区别及其应用。课程不仅涉及分类，还拓展到结构理解与推理，为未来研究提供了重要的思路，尤其是在开放环境下的模式识别、增量学习和可解释性等关键问题上。
模式识别的基础与前沿
研究动态与理论总结:
本课作为本学期的总结课，详细回顾了模式识别的经典理论并结合现代方法进行扩展，为未来科研奠定了坚实基础。经典理论对于研究与理解新兴技术至关重要。
课程深入比较了生成模型与判别模型，前者通过概率密度估计进行分类，后者通过直接判别函数实现类别区分，是模式分类的基础。
多分类器融合与贝叶斯决策:
利用贝叶斯决策理论组合不同分类器，提升分类性能。多模型融合利用它们的互补性以获得更优结果。
在参数学习中，生成模型和贝叶斯估计结合先验知识，为小样本情况下提供更强的鲁棒性。
结构模式识别与聚类技术
结构模式识别发展与应用:
课程探讨结构模式识别在模式分析中的独特应用，尤其当需要深入理解模式内在结构时，如文字识别中的笔画关系。
...
国科大-模式识别-决策树与随机森林
决策树决策树的重要性
决策树是机器学习中最重要的分类器之一。
C4.5 算法在 2006 年国际会议投票中被评为最重要的数据挖掘算法之一，其简单性和实用性使其备受青睐。
集成学习方法（如随机森林和 Boosting）也与决策树密切相关，它们通过组合多个弱分类器来提升整体性能。
决策树的工作原理是通过选择特征进行分叉，最终在叶子节点进行分类。
决策树的优势
决策树能够将特征空间划分为多个区域，实现非线性分类。
它能够处理离散特征，适用于数据挖掘领域的多种应用场景。
决策过程具有可解释性，与深度学习等复杂模型相比，每一步选择都可以被理解和追踪。
决策树能够处理离散变量和连续变量（通过离散化方法）。
决策树的局限性
决策树在处理不同类型的数据时表现可能存在差异，在某些情况下需要更复杂的模型。
决策树的分界面是平行于坐标轴的，这限制了其在某些数据分布下的有效性。
在特征分布不均的情况下，简单数据分布可以通过决策树快速分类，而复杂数据分布则可能需要其他算法来解决。
决策树的优化
可以通过数据变换和特征选择来优化决策树模型。
结合降维技术和决策 ...
国科大-模式识别-支撑向量机（SVM）2
讲解了支撑向量机（SVM）的多方面内容，包括其历史、基本原理、模型复杂度、泛化性能及优化方法。重点讨论了如何将SVM从二分类扩展到多分类，介绍了多种方法，如一对多、一对一以及有向无环图（DAG）等。此外，还探讨了通过回归方法来实现分类，并提出了局部线性编码的SVM。最后，强调了SVM在机器学习中的广泛应用及其对其他算法的影响。
支撑向量机的基础与模型复杂度
支撑向量机的概念：支撑向量机通过结构风险最小化来提高模型的泛化性能，而模型复杂度在这一过程中扮演了重要角色。通过引入VC维数，模型的复杂性得以量化，这有助于评估其在不同数据集上的表现。
历史背景与深度学习的关系：支撑向量机与深度学习在历史上有复杂的交互，理解这些关系有助于掌握机器学习的发展脉络。
最大化Margin：最大化margin的分类器设计是SVM的关键。通过定义margin并确定约束条件，找到最优分类器从而提升分类效果。
支撑向量机的核心思想与优化方法
最大化边际与损失函数：SVM的核心思想在于最大化边际和最小化损失函数。引入松弛变量后，新的损失函数更好地处理线性不可分的数据，提高模型的适应性与准确性。拉格朗日乘子法被用于 ...
国科大-模式识别-支撑向量机（SVM）1
支撑向量机概述支撑向量机（Support Vector Machine, SVM）是机器学习中一种重要且经典的算法，主要应用于分类问题。课程中详细介绍了硬间隔和软间隔SVM的概念。
硬间隔与软间隔SVM
硬间隔SVM：要求样本完全可分，其目标是最大化分类间隔并最小化权重的二范数。硬间隔SVM在面对实际数据中的噪声和不可分情况时，限制性较强。
软间隔SVM：允许样本存在错分，通过引入松弛变量来处理不可分的情况，并采用Hinge损失函数进行优化。软间隔SVM通过平衡分类间隔与误分类损失，提供了在噪声数据下的鲁棒性。
核方法与非线性分类SVM可以通过对偶问题的推导，将原问题转化为一个优化问题，并通过核方法实现非线性分类。核方法将数据映射到高维空间，使得原本不可分的数据变得可分，从而提高分类器的性能。最终，SVM通过有效的优化求解，构建出一个具有良好泛化能力的分类器。
支撑向量机的理论基础SVM的历史与发展支撑向量机是机器学习领域中最重要的模型之一，其历史可以追溯到1992年，并通过统计学习理论逐步发展而来。SVM的提出者研究了最优间隔分类器，并为后来的机器学习模型奠定了坚实的理论基础。
...