1. 为什么一本《随机过程》能成为理工科绕不开的硬骨头但凡读过理工科研究生尤其是电子信息、通信工程、自动化、统计学或者数学系出身的人看到“随机过程”这四个字脑子里大概率会闪过两个画面一个是满黑板的积分符号和概率密度函数另一个是考试前通宵翻书却依然搞不懂“严平稳”和“宽平稳”到底差在哪里的自己。刘次华老师这本《随机过程》第五版在圈子里流传了快二十年从第三版一路更新到第五版几乎成了国内不少高校研究生课程的指定教材或者主要参考书。它不像某些国外教材那样动辄七八百页也不像纯数学教材那样把测度论从头铺到尾而是走了一条“工科友好、够用就行”的中间路线。这个项目标题写的是“免费下载”但真正有价值的地方不在于省下那几十块钱的书费而在于你能不能把这本书里的东西真正吃进脑子里。我见过太多人硬盘里存了几十个G的PDF教材从概率论到随机微分方程一应俱全结果连马尔可夫链的平稳分布都手推不出来。所以这篇博文不打算只给你一个下载链接就完事那种事情你自己搜一下就有。我想做的是把这本书的核心脉络拆开告诉你每一章到底在讲什么、哪些地方容易卡住、工科生应该重点掌握哪些工具、以及怎么用最短的时间把这本书从“看过”变成“会用”。适合读这篇内容的人大概有三类第一类是在读研究生课程要求或者课题需要用到随机过程但本科阶段只学过一点概率论基础不算扎实第二类是已经工作的工程师做信号处理、通信系统、金融建模或者可靠性分析突然发现手头的数学工具不够用了想回头补课第三类就是纯粹对随机现象建模感兴趣的自学者可能没有考试压力但希望有一本中文教材能带着自己入门。不管你是哪一类接下来的内容都会围绕刘次华这本书的实际章节结构展开同时补充一些原书没有展开、但在实操中非常重要的细节。2. 这本书的整体骨架与工科视角的取舍逻辑2.1 从概率论到随机过程的那道坎到底在哪里很多人翻开这本书的第一章会觉得“还行”因为讲的是概率论基础回顾什么条件概率、全概率公式、贝叶斯公式、期望方差、特征函数这些本科都见过。但到了第二章“随机过程的基本概念”画风就开始变了。这里出现了一堆新名词随机过程、样本函数、均值函数、自相关函数、协方差函数、严平稳、宽平稳、各态历经性。每一个词单独看都能理解但放在一起就很容易混淆。刘次华这本书的处理方式是先给定义再给例子最后给性质。这个顺序本身没问题但工科生容易犯的一个错误是把定义背下来了却不知道这些概念在工程里对应什么。举个例子“宽平稳”要求均值为常数、自相关函数只与时间差有关。书上写得很简洁但如果你做过通信信号处理就会立刻反应过来这说的不就是信号在时间上平移之后统计特性不变吗实际接收到的噪声、干扰、衰落信号很多都可以近似看成宽平稳过程。而“各态历经性”更关键它说的是时间平均等于统计平均。没有这个性质你根本无法从一次实验记录中估计出过程的统计特性。换句话说各态历经性是“用一条样本函数推断整个随机过程”的理论依据工程上做频谱估计、相关分析全靠它撑着。所以读这本书的时候我建议你在每一章的定义旁边用铅笔写一句“这在工程里对应什么”。比如“马尔可夫性”对应的是“无记忆性”在排队论、信道建模、语音识别里到处都是“泊松过程”对应的是“稀有事件计数”呼叫到达、粒子发射、网络丢包都可以用它建模“布朗运动”对应的是“连续时间随机游走”在金融资产价格、陀螺仪漂移、分子扩散里反复出现。有了这层映射数学公式就不再是空中楼阁。2.2 第五版相比前几版做了哪些调整刘次华这本书从第三版到第五版整体框架没有大改但细节上有一些值得注意的变化。第三版的时候马尔可夫链的章节相对简略平稳分布的求解例子不多。到了第四版和第五版这一块明显加强了增加了不少离散状态链的例题尤其是状态转移矩阵的幂次计算和平稳分布的方程组解法。这个调整很务实因为工科生在实际问题里遇到的马尔可夫链绝大多数都是有限状态的能算出来才是硬道理。另一个变化是随机微分方程部分的处理。早期版本对伊藤积分的介绍比较浅基本就是给个定义和几个例子。第五版稍微多花了一点篇幅讲伊藤公式的应用但依然保持了“够用就好”的风格没有深入测度论。这个取舍我觉得很聪明因为对于大多数工科研究生来说你不需要严格证明伊藤积分的存在性你需要的是会用伊藤公式去解一个随机微分方程比如几何布朗运动或者奥恩斯坦-乌伦贝克过程。还有一个细节是习题的更新。第五版替换了一些过于数学化的习题增加了更多带有应用背景的题目比如排队系统、信号检测、可靠性分析。这些题目如果你认真做一遍比单纯看例题收获大得多。我个人的习惯是每看完一章先把例题遮住自己推一遍然后再做课后习题里带应用背景的那几道。纯证明题如果时间紧可以跳过但涉及计算和应用的一定要动手。2.3 工科生应该重点吃透哪几章这本书如果从头到尾一页不落地读对于非数学专业的人来说性价比不高。根据我自己的经验和周围人的反馈下面这几章是必须吃透的核心第二章 随机过程的基本概念这是整个学科的语法。均值、自相关、平稳性、各态历经性这些概念后面每一章都会用到。这一章如果含糊后面全是夹生饭。第三章 泊松过程这是最简单也最常用的点过程。呼叫到达、放射性衰变、网络流量、排队系统全是泊松过程或者它的变种。这一章的习题一定要做尤其是非齐次泊松过程和复合泊松过程。第四章 马尔可夫链离散状态、离散时间的马尔可夫链是很多算法的基石比如隐马尔可夫模型、马尔可夫链蒙特卡洛。状态转移矩阵、平稳分布、遍历性这几个概念必须能徒手算。第五章 连续时间马尔可夫链从离散跳到连续核心是转移速率矩阵和柯尔莫哥洛夫方程。排队论里的生灭过程就是这一章的典型应用。第六章 布朗运动这是连续时间随机过程的代表。布朗运动的性质、首达时间、最大值分布这些在金融和物理里都很重要。第七章 随机微分方程初步伊藤积分和伊藤公式。这一章对工科生来说难度最大但如果你做的是滤波、控制或者金融建模这一章绕不开。至于后面的平稳过程谱分析、线性系统对随机输入的响应等章节可以根据自己的方向选读。做通信和信号处理的谱分析那一章要仔细看做控制的线性系统响应那一章要仔细看。3. 核心章节的难点拆解与手推实操3.1 马尔可夫链平稳分布的手算流程马尔可夫链这一章很多人卡在平稳分布的求解上。书上给的方法是解方程组 πP π 加上归一化条件但实际手算的时候如果状态数超过三个就容易算错。我自己的做法是分三步走下面用一个具体的例子演示。假设一个三状态的马尔可夫链转移矩阵为P [[0.5, 0.3, 0.2], [0.2, 0.6, 0.2], [0.3, 0.3, 0.4]]第一步写出平稳方程。设平稳分布为 π [π1, π2, π3]根据 πP π可以得到三个方程π1 0.5π1 0.2π2 0.3π3 π2 0.3π1 0.6π2 0.3π3 π3 0.2π1 0.2π2 0.4π3第二步把其中一个方程替换成归一化条件 π1 π2 π3 1。注意这三个方程不是独立的因为转移矩阵的行和为1所以必须替换掉一个。通常替换掉第三个方程比较方便。第三步解这个线性方程组。把第一个方程整理一下0.5π1 - 0.2π2 - 0.3π3 0。第二个方程-0.3π1 0.4π2 - 0.3π3 0。加上归一化条件三个未知数三个方程用消元法或者直接代入都能解。我实际算下来π1 ≈ 0.3125π2 ≈ 0.40625π3 ≈ 0.28125。你可以验证一下πP 确实等于 π。这个手算过程看起来简单但考试的时候如果状态数多很容易在符号上出错。我的建议是算完之后一定代回去验证一遍尤其是归一化条件。注意平稳分布存在的前提是链不可约且正常返。如果链有吸收态或者周期平稳分布可能不存在或者不唯一。书上在讲遍历性的时候会提到这些条件但很多人做题的时候只看矩阵忘了检查条件。3.2 泊松过程的叠加与稀释在排队论中的实际应用泊松过程这一章最实用的两个性质是叠加和稀释。叠加说的是两个独立的泊松过程强度分别为 λ1 和 λ2叠加之后还是一个泊松过程强度为 λ1 λ2。稀释说的是一个泊松过程的每个事件以概率 p 被保留剩下的被丢弃保留下来的是一个强度为 λp 的泊松过程。这两个性质在排队论里用得非常多。举个例子一个服务台同时接收两类顾客A类顾客到达是强度为 λ1 的泊松过程B类顾客到达是强度为 λ2 的泊松过程两类顾客独立。那么总到达过程就是强度为 λ1 λ2 的泊松过程。如果服务台只服务A类顾客B类顾客被转走那么被服务的顾客到达过程就是强度为 λ1 的泊松过程这其实就是稀释的一个特例。书上在讲这两个性质的时候证明过程用的是特征函数或者母函数。工科生如果不想看证明至少要把结论记牢并且知道适用条件独立性和泊松性缺一不可。如果两个过程不独立叠加之后一般不是泊松过程如果稀释概率依赖于时间或者历史稀释之后也不是泊松过程。我踩过的一个坑是曾经在一个网络流量建模的问题里假设丢包过程是独立稀释结果实测数据拟合很差。后来发现丢包概率和队列长度有关不是独立的所以泊松性质不成立。这个教训告诉我用泊松过程之前一定要先检验独立性和稀有性这两个前提。3.3 布朗运动首达时间的分布推导与工程含义布朗运动这一章首达时间是一个重点。书上给的定义是对于标准布朗运动 B(t)首达时间 T_a inf{t 0: B(t) a}其中 a 0。书上直接给出了 T_a 的分布函数但没有详细推导。我在这里补一下推导思路因为理解了推导你才能记住这个公式。推导的核心工具是反射原理。反射原理说的是布朗运动在到达 a 之后继续运行的过程和从 a 出发的另一个独立布朗运动在分布上是一样的。利用这个原理可以证明P(T_a ≤ t) 2P(B(t) ≥ a) 2[1 - Φ(a/√t)]其中 Φ 是标准正态分布的分布函数。对 t 求导得到 T_a 的概率密度函数f_{T_a}(t) (a/√(2πt^3)) exp(-a^2/(2t))这个密度函数是重尾的因为当 t 趋于无穷时它按 t^{-3/2} 衰减。这意味着首达时间的期望是无穷大。换句话说虽然布朗运动最终会到达任意给定的水平但平均等待时间是无穷的。这个结论在金融里有一个直观的解释如果你持有一个资产等待它首次达到某个目标价格平均等待时间可能比你想象的长得多。工程上首达时间分布在可靠性分析里也有应用。比如一个设备的退化过程如果可以用布朗运动建模那么它首次超过失效阈值的时间分布就可以用上面的公式来近似。当然实际退化过程往往带有漂移这时候需要用带漂移的布朗运动首达时间的分布会复杂一些但基本思路是一样的。3.4 伊藤公式的实操计算与常见错误伊藤公式是随机微分方程这一章的核心也是工科生最容易出错的地方。普通微积分的链式法则在随机情形下不成立因为布朗运动有非零的二次变差。伊藤公式多出来一个修正项这个修正项是很多人忘记写的。以最简单的例子说明设 X(t) B(t)^2其中 B(t) 是标准布朗运动。如果按普通链式法则你会得到 dX 2B dB。但正确的伊藤公式给出dX 2B dB dt多出来的 dt 就是修正项。这个修正项来自布朗运动的二次变差即 (dB)^2 dt。在伊藤公式的一般形式中如果 f(t, x) 是二阶连续可微函数那么df(t, B(t)) (∂f/∂t 0.5 ∂²f/∂x²) dt (∂f/∂x) dB注意那个 0.5 ∂²f/∂x² 项它就是伊藤修正项。很多人在计算的时候只写 ∂f/∂t dt ∂f/∂x dB漏掉二阶项结果全错。我自己的经验是做伊藤公式的题目时先把 f(t, x) 的所有偏导数写出来然后严格按照公式代入不要凭感觉。尤其是遇到 f 是复合函数的时候比如 f(t, x) exp(ax - bt)偏导数容易算错。算完之后检查一下 dt 项的系数是否包含了 0.5 倍的二阶偏导这是最常见的错误点。4. 常见问题与排查技巧实录4.1 平稳性判断总是搞混怎么办平稳性判断是第二章的难点也是考试和实际建模中经常出错的地方。严平稳要求任意有限维分布随时间平移不变宽平稳只要求均值为常数、自相关函数只与时间差有关。很多题目给一个过程让你判断它是不是宽平稳你只需要算均值和自相关。我总结了一个排查流程第一步算均值函数看它是不是常数。如果不是常数直接排除宽平稳。第二步算自相关函数 R(t1, t2)看它是否只依赖于 τ t2 - t1。如果依赖排除宽平稳。第三步如果前两步都通过再检查自相关函数是否有界。宽平稳过程的自相关函数必须是有界的因为它是二阶矩存在的直接推论。常见的一个陷阱是有些过程均值是常数自相关函数也只与时间差有关但二阶矩不存在比如柯西分布。这时候宽平稳的定义不满足因为宽平稳要求二阶矩有限。书上在定义宽平稳的时候会明确写“二阶矩存在”但很多人看定义的时候会忽略这个前提。4.2 各态历经性验证的实操方法各态历经性说的是时间平均等于统计平均。书上给了定义和几个充分条件但实际验证的时候你不可能去验证所有样本函数。工程上的做法是先假设过程是各态历经的然后用一条足够长的样本记录去估计均值和自相关再和理论值比较。具体操作上如果你有一段采样数据 x[1], x[2], ..., x[N]时间平均估计为μ_hat (1/N) Σ x[i]自相关估计为R_hat[k] (1/(N-k)) Σ x[i] x[ik]如果这些估计值随着 N 增大趋于稳定并且和理论值接近就可以认为各态历经性成立。当然这只是工程上的近似验证不是严格证明。我踩过的一个坑是曾经用一段只有几百个点的数据去估计一个低频随机过程的均值结果估计值波动很大。后来把数据长度增加到几万个点估计才稳定下来。这个经验告诉我各态历经性的验证需要足够长的数据尤其是过程的相关时间比较长的时候。4.3 随机微分方程数值解的步长选择随机微分方程的数值解和常微分方程不一样步长选择更敏感。常用的方法是欧拉-丸山方法迭代格式为X_{n1} X_n a(X_n) Δt b(X_n) ΔW_n其中 ΔW_n 是布朗运动的增量服从均值为0、方差为 Δt 的正态分布。步长 Δt 的选择需要权衡精度和计算量。步长太大离散化误差大步长太小计算量大而且浮点误差会累积。我的经验是先选一个初始步长比如 Δt 0.001然后减半看数值解的变化。如果变化很小说明步长已经足够小如果变化明显继续减半。这个过程叫步长收敛性检验是数值解随机微分方程的标准操作。还有一个细节是布朗运动的增量必须用独立的随机数生成不能用同一个随机数重复使用。我见过有人为了省事在每个时间步用同一个 ΔW结果数值解完全错误。这个坑一定要避开。4.4 常见问题速查表问题现象可能原因排查方法解决技巧平稳分布解出来不归一方程组不独立忘了替换检查是否用了归一化条件替换一个方程替换第三个方程解完代回验证泊松过程拟合差独立性或稀有性不成立检验事件间隔是否指数分布考虑非齐次泊松或更新过程伊藤公式算错漏掉二阶修正项检查 dt 项系数是否含 0.5 倍二阶偏导先写全偏导再代入各态历经估计不稳数据长度不够增加数据量看估计是否收敛至少取相关时间的100倍随机微分方程数值解发散步长太大或增量不独立做步长减半检验用独立随机数生成增量5. 怎么把这本书用出最大价值5.1 配套习题的选择与刷题节奏这本书的习题量不小如果全部做完时间成本很高。我的建议是分层次刷题。第一层是每章开头的概念题用来检验定义是否记牢这些题花不了多少时间但必须做。第二层是带计算的应用题比如马尔可夫链的平稳分布、泊松过程的叠加稀释、布朗运动的首达时间这些题要动手算不能只看。第三层是证明题如果你不是数学专业可以选做优先做那些结论在后面章节会用到的证明。刷题节奏上我自己的做法是每学完一章先做例题再做课后习题的前一半。剩下的题目留到复习的时候做。这样第一遍不会太累第二遍又能巩固。千万不要攒到最后一起做随机过程的题目连贯性很强前面不熟后面更吃力。5.2 结合编程工具做数值实验光看书不做数值实验很多概念是飘的。我强烈建议你找一个编程工具Python 或者 MATLAB 都行把书里的典型过程模拟一遍。比如用 Python 的 numpy 生成布朗运动路径画出来看看用马尔可夫链的转移矩阵做多次迭代观察分布收敛到平稳分布的过程用泊松过程模拟排队系统统计平均队长和等待时间。这些数值实验花不了多少时间但能让你对随机过程的直观理解提升一个档次。我当年学的时候就是靠模拟布朗运动才真正理解了“连续但处处不可微”是什么意思。书上的一句话你自己画一遍图感受完全不一样。5.3 不同方向读者的选读建议如果你的方向是通信和信号处理重点看平稳过程、谱分析、线性系统响应这几章泊松过程和马尔可夫链也要熟悉因为网络流量建模用得上。如果你的方向是金融工程布朗运动、伊藤公式、随机微分方程是核心马尔可夫链在信用评级迁移里也有应用。如果你的方向是控制和滤波连续时间马尔可夫链、布朗运动、随机微分方程都要看卡尔曼滤波的理论基础就在这些章节里。如果你的方向是可靠性和排队论泊松过程、连续时间马尔可夫链、更新过程是重点。我自己是做信号处理方向的所以对谱分析那一章印象最深。书上讲功率谱密度的时候推导过程比较简略但结论很重要宽平稳过程的功率谱密度是自相关函数的傅里叶变换。这个关系把时域和频域连起来了后面做滤波器设计、噪声分析全靠这个。如果你也是这个方向建议把这一章的例题反复看几遍。5.4 关于电子版使用的几点实操建议既然标题里提到了免费下载我就顺带说几句电子版的使用心得。PDF 版本最大的好处是可以搜索但最大的坏处是容易让人产生“收藏了就是学会了”的错觉。我的建议是如果你决定用电子版一定要配合手写笔记。每看完一节用自己的话把核心定义和公式默写一遍不要复制粘贴。手写的过程会强迫你思考复制粘贴只会让你以为自己会了。另外电子版适合在电脑或者平板上看但做习题的时候最好还是用纸笔。随机过程的推导步骤多在屏幕上划来划去很容易乱。我自己的习惯是看书用平板做题用纸质笔记本两套系统分开效率反而更高。还有一点电子版的页码和纸质版可能不一致如果你需要引用书里的某段内容最好记下章节号而不是页码。这样不管用什么版本都能快速定位。5.5 从这本书往后还能学什么刘次华这本书是一本入门教材它把随机过程的核心概念和基本工具讲清楚了但没有深入太多。如果你学完之后还想继续深入有几个方向可以走。一个是随机分析方向需要补测度论和鞅论这方面的经典教材有 Durrett 的《Probability: Theory and Examples》。另一个是应用方向比如时间序列分析、卡尔曼滤波、隐马尔可夫模型这些都有专门的教材和课程。还有一个是数值方向随机微分方程的数值解法、蒙特卡洛方法这些在计算金融和计算物理里很重要。我自己的路径是学完这本书之后直接去看了时间序列分析和卡尔曼滤波因为工作中用得上。后来回头补了一点鞅论才发现很多结论在更一般的框架下更清晰。所以我的建议是先把手头的工具用起来遇到不够用的时候再回头补理论这样学习动力更足也不会被抽象概念劝退。最后分享一个我自己的小习惯每次学完一个章节我会用一张 A4 纸把这一章的核心概念、关键公式、典型应用画成一个思维导图。不追求好看只追求自己能看懂。过几个月回头复习的时候看这张纸比翻书快得多。随机过程这门课概念多、公式多没有一张自己的知识地图很容易学了后面忘了前面。这个习惯我坚持了好几年亲测有效。
