国科大-随机过程-泊松过程与离散状态随机过程
主要学习泊松过程，探讨离散状态的随机过程。上半学期的学习侧重于连续时间和状态的过程，而下半学期则将专注于离散状态的过程。泊松过程的核心在于事件发生的次数是随机的，并且具有独立增量和平稳增量的特性。利用母函数可以推导出泊松过程的概率分布，最终得出事件发生次数服从泊松分布，而事件间隔时间则服从指数分布。
2. 离散状态随机过程的基本概念2.1 定义与特征离散状态的随机过程研究事件发生与时间之间的关系，具有广泛的应用。例如：
网络数据包到达：在计算机网络中，可以使用离散状态随机过程来建模数据包到达的情况。
保险行业：在保险中，该模型可用于表示事故的发生频率。
事件发生的次数具有随机性，随着时间的推移，事件发生的间隔也可能发生变化。通过分析这些随机变量，可以深入理解并改进模型方法。
2.2 独立增量和平稳增量在研究离散状态随机过程中，独立增量的条件必须被考虑。该条件在实际应用中较难满足，但帮助理解事件发生的统计特性。
独立增量：不同时段内的事件增量是互不干扰的，能够简化计算流程。
平稳增量：事件次数仅依赖于时间段的长度，而非确定的时间，这在某些实际应用中可能不 ...
最优化：建模、算法与理论-待开始
翻了几页, 没有看下去的动力。等有空再看。他们开了对应的公开课，有空瞅瞅http://faculty.bicmr.pku.edu.cn/~wenzw/optbook.html
国科大-随机过程-高斯过程及其在机器学习和金融领域的应用总结
1. 高斯过程在机器学习中的应用高斯过程（Gaussian Process, GP）是一种有效的非参数方法，广泛应用于机器学习的分类和回归问题。它从数据中自动学习模型结构，使得高斯过程非常灵活并适应数据的复杂性。
1.1 分类任务
高斯过程分类：在分类问题中，我们为每个类别构建相应的高斯分布模型，通过计算数据点到各个类别中心的距离，将其归类。
距离计算的重要性：
协方差矩阵的相似性对于分类结果至关重要。若各类的协方差矩阵不一致，可能会导致错误分类。
马氏距离 (Mahalanobis Distance): 一种考虑类间方差的距离计算方法，可以通过归一化方差来提高分类准确性。
公式：\[D_M = \sqrt{(x - \mu)^T S^{-1} (x - \mu)}\]这里，\(x\)是待测点，\(\mu\)是均值，\(S\)是协方差矩阵。
1.2 贝叶斯分类
贝叶斯方法：核心在于通过极大化后验概率充分考虑先验知识，态度更加灵活。
计算方式：通过转化为对数形式，将复杂的乘法问题转化为加法，便于计算与理解。
对数似然公式：\[\log P(D|\th ...
国科大-随机过程-非线性系统
高斯过程的基本特性线性系统中的高斯过程首先探讨了高斯过程通过线性系统时的特性。高斯过程是一种具有强大分析能力的随机过程，其主要特点是经过线性系统时仍然保持高斯性。这意味着，如果输入一个高斯过程，输出仍然是一个高斯过程。这一特性在信号处理、控制理论和通信系统中具有广泛的应用。
参数变化当高斯过程通过线性系统时，其均值和协方差可能会发生变化。具体而言，输出的均值是输入均值经过系统的线性变换，而输出的协方差则是输入协方差矩阵与系统的脉冲响应的卷积结果。因此，尽管过程的高斯性被保持，输出的统计特性仍然依赖于系统的具体形式。
非线性系统中的高斯过程然而，当高斯过程经过非线性系统时，其高斯性将被破坏，过程会变为非高斯性。这对于许多应用领域来说是一个挑战，因为非高斯过程的处理往往更为复杂。
非线性系统的影响非线性系统可以分为多种类型，如平方、取符号、求幂等。不同的非线性操作会对高斯过程产生不同的影响。例如，当高斯过程经过取符号的非线性变换时，输出将变为二元随机过程，其均值和协方差的计算需要特殊的工具和方法。
非高斯过程的分析为了分析非高斯过程，必须重点关注均值和相关函数。均值表示过程的中心趋势，而相 ...
周志华-机器学习引论
这个是周老师面向本科生开设的通识课，可以理解为向新人介绍机器学习，时间很短，6个多小时，说的也很浅，不过基本都介绍全了，周老师作为国内机器学习研究者中的翘楚，总算放出了一门课程，虽然是通识课，但听无妨。
因为基本没有啥板书，也不需要太多的思考，我是在跑步机上听完了的。想听一听最前沿的这批人是怎样看待\理解\讲解机器学习的，感觉整体听下来和他的西瓜书的逻辑大差不差。
https://www.bilibili.com/video/BV1gG411f7zX/
国科大-随机过程-高斯过程与多元高斯分布
探讨了高斯过程及其性质，特别是高斯过程在进行线性变换后仍保持高斯特性的重要性。通过多个例子，教授解释了如何利用多元高斯分布的无偏性来估计样本均值和样本方差，并指出样本均值与样本方差之间的独立性。课程还涉及了高斯过程的条件分布，强调了在信号处理和机器学习中的应用，最后通过线性高斯系统的实例，展示了如何从观测数据推断内在状态。
高斯过程的研究1. 线性变换与高斯性质高斯过程的研究主要围绕多元高斯分布进行，特别强调了高斯过程在经过线性变换后仍保持高斯性质的重要性。理论上，这一特性确保了在各种操作后，高斯分布仍然可以描述数据的分布情况，具有深远的实际应用影响。
例子：多个独立同分布的随机变量通常假定服从高斯分布，其均值为0，方差为 \(\sigma^2\)。在实验中，假设采样结果服从高斯分布，使得后续的处理和分析更加简便。
2. 样本均值与样本方差在采样过程中，方差的降低和样本方差的估计是两个关键步骤。通过多次采样求平均可以减小方差，进而提高数据的可靠性和实验结果的准确性。
独立性：样本均值和样本方差之间存在独立性，即便样本方差的计算依赖于样本均值，两者在统计上依然独立。这一点在高斯假定 ...
国科大-随机过程-高斯过程及其在随机过程中的应用
介绍了高斯过程及其在随机过程中的应用。高斯过程是一种连续时间和状态的随机过程，其核心在于对联合高斯分布的理解。通过定义和分析高斯过程的均值和协方差矩阵，强调了线性代数在高斯过程研究中的重要性。课程还探讨了扩散模型，特别是去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPM），并展示了高斯过程在现代人工智能中的应用。
高斯过程的基础知识高斯过程的定义与联合高斯分布
高斯过程（Gaussian Process, GP）是一个随机过程，它可以用来描述一个函数空间的概率分布。对于任意取样的N个时间点的随机变量，它们构成的N维随机矢量服从联合高斯分布。这一特性使得高斯过程在处理时间序列和空间数据时具有广泛的应用。
高斯过程的均值和协方差函数：高斯过程的均值函数\( m(t) \)和协方差函数\( k(t, t’) \)定义了过程的统计特性。均值函数表示过程在每个时间点的期望值，而协方差函数则描述了两个时间点之间的相关性。
多维高斯分布的复杂性：随着维度N的增加，概率密度函数的复杂性迅速增加。高维高斯分布的协方差矩阵\( \Sigma ...
国科大-随机过程-高斯过程的基本概念
1.1 高斯分布的普遍性高斯分布（Gaussian Distribution）是概率论和统计学中的一个基本概念。它广泛应用于物理、信息论、金融等多个领域。在物理学中，许多自然现象如扩散过程、热运动都可以通过高斯分布来描述。这是因为高斯分布往往是许多独立随机变量之和的极限分布，符合中心极限定理的条件。
1.2 高斯分布在物理学中的应用通过分析扩散现象，我们可以理解高斯分布的形成。例如，墨水在水中的扩散过程实际上是大量微小颗粒的随机运动。在不考虑外力的情况下，这些颗粒的空间分布会趋于高斯分布。
2. 爱因斯坦与布朗运动2.1 布朗运动的统计力学解释1905年，爱因斯坦提出了布朗运动的理论，基于统计力学解释了微小粒子的随机运动。这一理论为分子的存在提供了间接证据，并最终得出了高斯分布的结论。爱因斯坦通过分析扩散方程，建立了粒子运动的统计模型，该模型在一定条件下可以预测粒子的运动路径及其位置分布。
2.2 扩散方程的推导扩散方程为二阶抛物型偏微分方程，表达了粒子的空间与时间的变化关系。方程形式为：
\[\frac{\partial u(x,t)}{\partial t} = D \frac{\ ...
国科大-随机过程-多元相关性
探讨了多元相关性及其在随机过程中的应用。回顾了相关的基本概念，并扩展到多个随机变量之间的线性关系，使用相关矩阵作为工具来理解多元随机变量的联合分布。接着，讨论了去相关和主成分分析（PCA），展示了如何通过特征分解简化随机变量的理解。最后，介绍了宽平稳随机过程与复指数函数之间的等距同构关系，为后续学习高斯过程奠定了基础。
1. 多元相关性多元相关性研究不仅限于两个变量，还涉及多个随机变量的情况。希望了解这些变量之间的联合分布，但通常获取联合分布是非常困难的。
1.1 相关矩阵相关矩阵是理解多个随机变量之间关系的有效工具。通过将相关系数组织成矩阵形式，能够更清晰地分析和解读这些变量的关联性。相关矩阵的一个重要特性是它是对称的，因此可以通过特征值分解（Eigenvalue Decomposition）将其对角化。
公式给定一个随机向量 \(\mathbf{X} = [X_1, X_2, \dots, X_n]^T\)，其相关矩阵 \(\mathbf{R}\) 定义为：\[\mathbf{R} = \mathbb{E}[(\mathbf{X} - \mathbb{E}[\mathbf{X}]) ...
国科大-随机过程-随机微积分及其在随机过程中的重要性
1. 随机微积分的概述随机微积分在随机过程中占据重要地位，尽管在工科课程中常被忽视。这种忽视的原因包括：
工程应用不依赖于随机微积分的知识，学生往往更关注实用性解决方案。
随机微积分的抽象性使学习困难，特别是对于初学者。
理解随机微积分有助于完善知识体系，特别是在阅读金融、管理等领域的文献时能够更好地理解相关概念。此外，掌握随机微积分可以拓宽职业发展视野。
核心概念：
微积分的核心是极限，而随机微积分关注的是随机变量的极限，这涉及多种收敛形式及其实际应用。
2. 函数收敛的基本概念函数的收敛有多种表现，包括逐点收敛和一致收敛，这两种概念对微积分和随机变量的研究至关重要。
2.1 逐点收敛定义为：对每个固定点 \( x \)，函数序列 \( F_n(x) \) 收敛于 \( F(x) \)。
收敛速度因点的不同而异。
公式表示：\[\lim_{n \to \infty} F_n(x) = F(x) \quad \text{对每个 } x\]
2.2 一致收敛一致收敛更为严格：
对每个 \( \epsilon > 0 \)，存 ...