MM's Journal of Technology

听说是写的很好，听随机过程的时候张颢老师提了一嘴，也和同学打听了下，好像是搞金融做量化分析那边会看的一本书。总的来讲也是对数据的分析和算法设计嘛。搜了下可惜没有中文，六百多页，关键是我对于概率方面也不是很了解，硬啃这书没有太多信心，提不起决心，等闲下来了再看看了…

泊松过程是一种重要的随机过程，广泛应用于统计学和概率论中。其主要特性包括独立增量和平稳增长，这使得泊松过程的统计性质简单明了，特别适合用于描述事件在特定时间段内的发生次数。 2. 泊松过程的基本特性 2.1 独立增量 泊松过程的独立增量特性意味着，在不重叠的时间区间内发生事件的数量是独立的。这一特性对于分析和预测事件发生的规律具有重要意义。 2.2 平稳增量 平稳增量的特性指的是事件在相同长度的时间区间内发生的次数分布相同。设强度为λ，则在时间区间[t, t+s]内发生k次事件的概率可以表示为： \[ P(N(t+s) - N(t) = k) = \frac{(λs)^k e^{-λs}}{k!} \] 其中，\( N(t) \)为时间t内发生的事件数量。 2.3 事件间隔的分布 在泊松过程中，事件之间的时间间隔服从指数分布，其概率密度函数为： \[ f(t; λ) = λ e^{-λt}, , t \geq 0 \] 这说明，在泊松过程中，事件之间的间隔是独立且遵循相同的分布。 3. 随机电报信号与泊松过程 随机电报信号是一个重要应用实例，其性质可以被视为泊松过程的近似。在此模型中， ...

主要学习泊松过程，探讨离散状态的随机过程。上半学期的学习侧重于连续时间和状态的过程，而下半学期则将专注于离散状态的过程。泊松过程的核心在于事件发生的次数是随机的，并且具有独立增量和平稳增量的特性。利用母函数可以推导出泊松过程的概率分布，最终得出事件发生次数服从泊松分布，而事件间隔时间则服从指数分布。 2. 离散状态随机过程的基本概念 2.1 定义与特征 离散状态的随机过程研究事件发生与时间之间的关系，具有广泛的应用。例如： 网络数据包到达：在计算机网络中，可以使用离散状态随机过程来建模数据包到达的情况。 保险行业：在保险中，该模型可用于表示事故的发生频率。 事件发生的次数具有随机性，随着时间的推移，事件发生的间隔也可能发生变化。通过分析这些随机变量，可以深入理解并改进模型方法。 2.2 独立增量和平稳增量 在研究离散状态随机过程中，独立增量的条件必须被考虑。该条件在实际应用中较难满足，但帮助理解事件发生的统计特性。 独立增量：不同时段内的事件增量是互不干扰的，能够简化计算流程。 平稳增量：事件次数仅依赖于时间段的长度，而非确定的时间，这在某些实际应用中可能不成立。 2.3 实际 ...

翻了几页, 没有看下去的动力。等有空再看。他们开了对应的公开课，有空瞅瞅http://faculty.bicmr.pku.edu.cn/~wenzw/optbook.html

1. 高斯过程在机器学习中的应用 高斯过程（Gaussian Process, GP）是一种有效的非参数方法，广泛应用于机器学习的分类和回归问题。它从数据中自动学习模型结构，使得高斯过程非常灵活并适应数据的复杂性。 1.1 分类任务 高斯过程分类：在分类问题中，我们为每个类别构建相应的高斯分布模型，通过计算数据点到各个类别中心的距离，将其归类。 距离计算的重要性： 协方差矩阵的相似性对于分类结果至关重要。若各类的协方差矩阵不一致，可能会导致错误分类。 马氏距离 (Mahalanobis Distance): 一种考虑类间方差的距离计算方法，可以通过归一化方差来提高分类准确性。 公式： \[ D_M = \sqrt{(x - \mu)^T S^{-1} (x - \mu)} \] 这里，\(x\)是待测点，\(\mu\)是均值，\(S\)是协方差矩阵。 1.2 贝叶斯分类 贝叶斯方法：核心在于通过极大化后验概率充分考虑先验知识，态度更加灵活。 计算方式：通过转化为对数形式，将复杂的乘法问题转化为加法，便于计算与理解。 对数似然公式： \[ \log P(D|\theta) ...

高斯过程的基本特性 线性系统中的高斯过程 首先探讨了高斯过程通过线性系统时的特性。高斯过程是一种具有强大分析能力的随机过程，其主要特点是经过线性系统时仍然保持高斯性。这意味着，如果输入一个高斯过程，输出仍然是一个高斯过程。这一特性在信号处理、控制理论和通信系统中具有广泛的应用。 参数变化 当高斯过程通过线性系统时，其均值和协方差可能会发生变化。具体而言，输出的均值是输入均值经过系统的线性变换，而输出的协方差则是输入协方差矩阵与系统的脉冲响应的卷积结果。因此，尽管过程的高斯性被保持，输出的统计特性仍然依赖于系统的具体形式。 非线性系统中的高斯过程 然而，当高斯过程经过非线性系统时，其高斯性将被破坏，过程会变为非高斯性。这对于许多应用领域来说是一个挑战，因为非高斯过程的处理往往更为复杂。 非线性系统的影响 非线性系统可以分为多种类型，如平方、取符号、求幂等。不同的非线性操作会对高斯过程产生不同的影响。例如，当高斯过程经过取符号的非线性变换时，输出将变为二元随机过程，其均值和协方差的计算需要特殊的工具和方法。 非高斯过程的分析 为了分析非高斯过程，必须重点关注均值和相关函数。均值表示过程的中 ...

这个是周老师面向本科生开设的通识课，可以理解为向新人介绍机器学习，时间很短，6个多小时，说的也很浅，不过基本都介绍全了，周老师作为国内机器学习研究者中的翘楚，总算放出了一门课程，虽然是通识课，但听无妨。 因为基本没有啥板书，也不需要太多的思考，我是在跑步机上听完了的。想听一听最前沿的这批人是怎样看待\理解\讲解机器学习的，感觉整体听下来和他的西瓜书的逻辑大差不差。 https://www.bilibili.com/video/BV1gG411f7zX/

探讨了高斯过程及其性质，特别是高斯过程在进行线性变换后仍保持高斯特性的重要性。通过多个例子，教授解释了如何利用多元高斯分布的无偏性来估计样本均值和样本方差，并指出样本均值与样本方差之间的独立性。课程还涉及了高斯过程的条件分布，强调了在信号处理和机器学习中的应用，最后通过线性高斯系统的实例，展示了如何从观测数据推断内在状态。 高斯过程的研究 1. 线性变换与高斯性质 高斯过程的研究主要围绕多元高斯分布进行，特别强调了高斯过程在经过线性变换后仍保持高斯性质的重要性。理论上，这一特性确保了在各种操作后，高斯分布仍然可以描述数据的分布情况，具有深远的实际应用影响。 例子：多个独立同分布的随机变量通常假定服从高斯分布，其均值为0，方差为 \(\sigma^2\)。在实验中，假设采样结果服从高斯分布，使得后续的处理和分析更加简便。 2. 样本均值与样本方差 在采样过程中，方差的降低和样本方差的估计是两个关键步骤。通过多次采样求平均可以减小方差，进而提高数据的可靠性和实验结果的准确性。 独立性：样本均值和样本方差之间存在独立性，即便样本方差的计算依赖于样本均值，两者在统计上依然独立。这一点在高 ...

介绍了高斯过程及其在随机过程中的应用。高斯过程是一种连续时间和状态的随机过程，其核心在于对联合高斯分布的理解。通过定义和分析高斯过程的均值和协方差矩阵，强调了线性代数在高斯过程研究中的重要性。课程还探讨了扩散模型，特别是去噪扩散概率模型（Denoising Diffusion Probabilistic Models, DDPM），并展示了高斯过程在现代人工智能中的应用。 高斯过程的基础知识 高斯过程的定义与联合高斯分布 高斯过程（Gaussian Process, GP）是一个随机过程，它可以用来描述一个函数空间的概率分布。对于任意取样的N个时间点的随机变量，它们构成的N维随机矢量服从联合高斯分布。这一特性使得高斯过程在处理时间序列和空间数据时具有广泛的应用。 高斯过程的均值和协方差函数：高斯过程的均值函数\( m(t) \)和协方差函数\( k(t, t’) \)定义了过程的统计特性。均值函数表示过程在每个时间点的期望值，而协方差函数则描述了两个时间点之间的相关性。 多维高斯分布的复杂性：随着维度N的增加，概率密度函数的复杂性迅速增加。高维高斯分布的协方差矩阵\( \S ...

1.1 高斯分布的普遍性 高斯分布（Gaussian Distribution）是概率论和统计学中的一个基本概念。它广泛应用于物理、信息论、金融等多个领域。在物理学中，许多自然现象如扩散过程、热运动都可以通过高斯分布来描述。这是因为高斯分布往往是许多独立随机变量之和的极限分布，符合中心极限定理的条件。 1.2 高斯分布在物理学中的应用 通过分析扩散现象，我们可以理解高斯分布的形成。例如，墨水在水中的扩散过程实际上是大量微小颗粒的随机运动。在不考虑外力的情况下，这些颗粒的空间分布会趋于高斯分布。 2. 爱因斯坦与布朗运动 2.1 布朗运动的统计力学解释 1905年，爱因斯坦提出了布朗运动的理论，基于统计力学解释了微小粒子的随机运动。这一理论为分子的存在提供了间接证据，并最终得出了高斯分布的结论。爱因斯坦通过分析扩散方程，建立了粒子运动的统计模型，该模型在一定条件下可以预测粒子的运动路径及其位置分布。 2.2 扩散方程的推导 扩散方程为二阶抛物型偏微分方程，表达了粒子的空间与时间的变化关系。方程形式为： \[ \frac{\partial u(x,t)}{\partial t} = D \ ...