简介本资源是一套面向量化投资与金融时间序列建模学习者的Python实战项目聚焦股票市场趋势预测这一典型任务整合隐马尔可夫模型HMM与长短期记忆网络LSTM的混合建模思路提供四种可复现的融合方案。资源包含61个文件主体为28个核心Python源码涵盖数据预处理、HMM状态估计、LSTM训练、XGBoost/GMM辅助建模及结果可视化等模块辅以4张效果对比图、1份PDF论文参考、1份Markdown项目说明及少量编译缓存文件整体压缩包仅2.54MB轻量易部署。已有327人下载学习适合具备Python基础与机器学习入门知识的开发者可直接运行完整训练-预测流程获取带概率输出的趋势分类结果、模型融合策略代码、异常值处理工具及多维度评估脚本尤其适用于理解HMM状态解耦与LSTM时序建模协同机制的进阶实践。1. 为什么用 HMM-LSTM 联合建模股票趋势比单用 LSTM 更稳——不是加个 HMM 就叫“融合”而是让隐状态真正管住时序噪声你手头那套纯 LSTM 做股票涨跌预测的代码跑出来准确率忽高忽低回测曲线像心电图不是模型不够深而是你没给它一个“决策守门员”LSTM 擅长捕捉价格、成交量里的局部时序依赖但它对市场阶段比如“震荡筑底”“主升浪”“高位横盘”这种离散、持续、切换缓慢的宏观状态毫无感知——它把所有波动都当成同等重要的信号去拟合结果就是过拟合微观噪音、漏掉结构性转折。HMM 正是干这个的它不直接预测涨跌而是先推断当前所处的不可观测市场 regime状态再把这层状态作为强先验约束 LSTM 的输出空间。我们实测过在沪深300成分股日频数据上HMM-LSTM 联合模型相比纯 LSTM回撤控制提升 23%趋势延续期的多头胜率从 58% 提升到 71%。这不是玄学叠加而是让模型学会“先看天再出手”。适合已经跑通基础 LSTM 预测、但发现策略在震荡市频繁止损、在单边市又反应迟钝的量化开发者也适合想把统计建模思维HMM和深度学习LSTM真正拧成一股绳的算法工程师——本文不讲公式推导只拆解怎么用 Python 把这套逻辑落地成可复现、可调参、可部署的完整 pipeline。2. HMM-LSTM 架构设计为什么必须用“HMM 输出状态概率 → 作为 LSTM 输入特征”而不是“LSTM 输出喂给 HMM”2.1 两种主流耦合方式的本质区别与选型依据HMM 和 LSTM 的组合不是拍脑袋决定的。常见有两类架构后验注入式本文采用HMM 在训练/推理时独立运行输出每个时间步属于各隐状态的概率分布如[0.1, 0.7, 0.2]这个 3 维向量拼接到原始行情特征Open/High/Low/Close/Volume后一起喂给 LSTM。联合训练式把 HMM 的转移矩阵、发射概率等参数作为可学习变量嵌入 LSTM 的 cell 内部端到端反向传播。提示别碰联合训练式。它理论上优雅但实践中梯度爆炸风险极高HMM 的离散隐变量和 LSTM 的连续梯度天然冲突我们试过 7 种初始化和 clip 方案收敛极不稳定且无法单独诊断 HMM 是否学到了合理 regime。而“后验注入式”把问题拆解HMM 专注识别市场状态用 Baum-Welch 迭代优化LSTM 专注在给定状态下做精细化预测用标准 SGD 优化两套逻辑互不干扰调试成本直降 80%。2.2 HMM 状态数 K 的确定不能靠直觉要用 BIC 准则暴力搜索K 取多少网上教程常写“试试 3 或 4”这是血泪坑。太少K2会把“上涨中继”和“顶部反转”强行压进同一状态太多K6则导致状态碎片化每个状态样本不足HMM 发射概率估计失真。正确做法是在 K2 到 K8 范围内遍历对每个 K 训练 HMM计算其贝叶斯信息准则BIC得分$$ \text{BIC} -2 \log L d \log N $$其中 $L$ 是模型似然值$d$ 是 HMM 参数总数$K(K-1) K(D1)$D 为观测维度$N$ 为训练样本数。BIC 越小越好。我们在 A 股 2018–2022 年日线数据上跑出最优 K4对应状态语义清晰状态 IDBIC 得分市场语义人工标注验证平均持续天数0-1243.6震荡下行阴跌缩量12.31-1251.2震荡上行小阳线放量9.82-1238.9单边主升跳空突破量能放大5.13-1247.4高位横盘长上下影线量能萎缩18.72.3 LSTM 输入特征构造HMM 后验概率必须归一化且保留全部维度HMM 输出的是n_samples × n_states的概率矩阵直接拼接会导致 LSTM 输入维度爆炸例如 50 维行情 4 维状态 54 维。关键细节不做降维不能用 PCA 或只取最大概率对应的状态 ID如 argmax这会丢失状态不确定性信息比如[0.45, 0.45, 0.1]和[0.9, 0.05, 0.05]都 argmax0但前者市场方向模糊后者明确。必须归一化HMM 输出本身已归一但需确认np.sum(hmm_posterior, axis1)全为 1.0否则后续 LSTM 学习会受干扰。拼接位置放在原始特征之后非之前因 LSTM 的 forget gate 对序列开头特征更敏感应让原始价格信息优先被记忆。# 示例构造最终输入 X_lstm (n_samples, seq_len, input_dim) # 假设原始行情特征: X_raw (n_samples, seq_len, 5) [O,H,L,C,V] # hmm_posterior: (n_samples, seq_len, n_states) 由 hmmlearn 得到 X_lstm np.concatenate([X_raw, hmm_posterior], axis-1) # shape: (n, seq, 5n_states) # 验证归一性 assert np.allclose(np.sum(X_lstm[:, :, 5:], axis-1), 1.0, atol1e-6)这段代码里axis-1是关键——确保在最后一个维度特征维度拼接而非时间维度。atol1e-6是经验阈值HMM 数值计算会有微小误差但超过1e-5就要检查 HMM 收敛是否充分。3. 用 hmmlearn PyTorch 实现端到端训练HMM 预训练 LSTM 微调的两阶段流程3.1 HMM 预训练用 hmmlearn 拟合观测序列获取后验概率hmmlearn 是目前最稳定的 Python HMM 库支持多元高斯发射分布适配多维行情且 Baum-Welch 收敛性优于手写实现。注意三点观测序列必须平稳化原始价格序列含趋势HMM 假设观测服从固定分布。我们用diff()计算日收益率再StandardScaler归一化非 MinMaxScaler因收益率有负值。初始化策略init_paramsst随机初始化转移矩阵和发射参数易陷入局部最优改用s仅初始化转移矩阵发射参数用 k-means 聚类中心显著提升稳定性。收敛监控n_iter100不够需设tol1e-4并检查model.monitor_.converged返回 True。from hmmlearn import hmm from sklearn.preprocessing import StandardScaler import numpy as np # 1. 构造观测序列取 OHLCV 日收益率shape(n_days, 5) returns np.diff(prices, axis0) / prices[:-1] # prices: (n_days, 5) scaler StandardScaler() X_scaled scaler.fit_transform(returns) # 归一化 # 2. 初始化 HMMK4 model hmm.GaussianHMM( n_components4, covariance_typefull, # 多元高斯需 full 协方差 n_iter200, tol1e-4, init_paramss, # 关键用 k-means 初始化发射参数 random_state42 ) # 3. 训练并验证收敛 model.fit(X_scaled) print(fHMM converged: {model.monitor_.converged}) print(fFinal log likelihood: {model.score(X_scaled):.2f}) # 4. 获取后验概率soft assignment posterior_proba model.predict_proba(X_scaled) # shape: (n_days, 4) # 注意predict_proba 返回的是 P(state_i | obs_t)正是我们需要的covariance_typefull是必须项——若用diagHMM 会假设各维度O/H/L/C/V独立但实际中它们强相关如 High 和 Low 同向变动full 协方差才能捕获这种依赖。3.2 LSTM 模型定义带状态门控的双输出头设计LSTM 层后不直接接 softmax 分类而是设计两个并行输出头趋势分类头3 分类涨/跌/平用nn.Linear(64, 3)nn.LogSoftmax损失函数为nn.NLLLoss。置信度回归头预测当前预测的可靠性0~1用nn.Linear(64, 1)nn.Sigmoid损失为nn.MSELoss。这样做的动机是当 HMM 判定市场处于“高位横盘”状态3时LSTM 应降低趋势预测置信度——双头结构让模型学会自我校准。import torch import torch.nn as nn class HMM_LSTM(nn.Module): def __init__(self, input_dim, hidden_dim64, num_layers2, num_classes3): super().__init__() self.lstm nn.LSTM( input_sizeinput_dim, hidden_sizehidden_dim, num_layersnum_layers, batch_firstTrue, dropout0.3 # 关键防止过拟合高频噪音 ) self.classifier nn.Sequential( nn.Linear(hidden_dim, 32), nn.ReLU(), nn.Dropout(0.2), nn.Linear(32, num_classes) ) self.confidence_head nn.Sequential( nn.Linear(hidden_dim, 16), nn.ReLU(), nn.Linear(16, 1), nn.Sigmoid() ) def forward(self, x): # x: (batch, seq_len, input_dim) lstm_out, _ self.lstm(x) # lstm_out: (batch, seq_len, hidden_dim) last_output lstm_out[:, -1, :] # 取最后时刻输出 logits self.classifier(last_output) # (batch, 3) conf self.confidence_head(last_output).squeeze(-1) # (batch,) return logits, conf # 实例化模型input_dim 549 model HMM_LSTM(input_dim9, hidden_dim64)dropout0.3在 LSTM 层内是经验参数——太小0.1无法抑制过拟合太大0.5导致训练不收敛。我们固定为 0.3在多个股票上验证鲁棒。3.3 两阶段训练先冻 HMM 后验再联合微调严格来说这不是“端到端”而是可控的分阶段优化阶段一HMM 固定用 HMM 预计算的posterior_proba拼接原始特征训练 LSTM。此时 HMM 参数完全冻结只优化 LSTM 权重。阶段二联合微调将 HMM 的posterior_proba替换为model.predict_proba(X_scaled)的实时输出即 HMM 参数可更新用较小学习率1e-4微调整个 pipeline。注意阶段二必须开启 requires_gradFalse for HMM parameters。hmmlearn 的 model 无 grad所以实际是“HMM 重新拟合 LSTM 微调”。我们用sklearn.model_selection.TimeSeriesSplit做滚动训练每次用前 3 年数据拟合 HMM再用该 HMM 提取后验训练 LSTM 预测未来 1 年——避免未来信息泄露。4. 避坑指南HMM-LSTM 在股票数据上的 4 个致命陷阱与解法4.1 现象HMM 训练后验概率全为 nan 或 inf原因原始价格序列未做差分导致观测值量级巨大如股价从 10 元涨到 100 元hmmlearn 的高斯发射概率计算exp(-(x-mu)^2/(2*sigma^2))中(x-mu)^2溢出返回 inf。解决必须对原始价格做np.diff()计算收益率再StandardScaler归一化。验证方法np.max(np.abs(X_scaled)) 10否则 scaler 未生效。4.2 现象LSTM 训练 loss 不下降acc 波动剧烈原因HMM 后验概率未与原始特征做相同时间对齐。常见错误是用model.predict_proba(X_scaled)得到(n_days, 4)但原始特征X_raw是(n_days, 5)拼接时未考虑diff()导致的长度减 1。解决X_raw必须截取为X_raw[1:]因returns长度为n_days-1或posterior_proba补零至n_days。我们选择前者因 HMM 应基于实际可观测的收益率建模。4.3 现象回测时多头信号集中在涨停板附近空头信号集中在跌停板附近原因LSTM 输出 logits 未做温度系数temperature scaling校准softmax 后概率过于尖锐模型过度自信。解决在推理时引入温度 T1.5probs torch.softmax(logits / T, dim-1)。T1 使分布更平滑T1 更尖锐。我们通过网格搜索在验证集上找到最优 T1.3。4.4 现象HMM 识别出的“主升浪”状态在牛市末期频繁出现但随后大幅回调原因HMM 仅依赖历史收益率未引入波动率、换手率等辅助指标导致对“虚假突破”不敏感。解决在 HMM 观测向量中加入年化波动率滚动窗口20 日和换手率比率当日换手率 / 60 日均值维度从 5 升至 7。实测后“主升浪”状态的 precision 提升 17%。5. 回测验证与参数敏感性分析如何证明 HMM-LSTM 不是过拟合幻觉5.1 构建严谨的滚动回测框架避免未来信息与幸存者偏差不能用全样本训练后一次性测试——这等于偷看了未来。我们采用3 年训练 / 1 年测试的滚动窗口共 5 个周期2018–2022每个周期开始时用前 3 年数据拟合 HMMhmm.fit(X_train)用该 HMM 提取测试年份的后验概率用测试年份的后验 行情特征训练 LSTM仅该年数据不跨年最终合并 5 年的每日信号计算整体夏普比率、胜率、最大回撤。关键约束禁止跨周期共享 scaler每个训练窗口独立fit_transform防止测试集信息泄露LSTM 输入序列长度固定为 30即用过去 30 日数据预测第 31 日趋势避免序列长度变化引入偏差交易成本显式建模买入卖出各扣 0.15% 手续费信号需连续 3 日同向才执行过滤毛刺。5.2 核心指标对比表HMM-LSTM vs 纯 LSTM vs 传统技术指标模型年化收益最大回撤夏普比率多头胜率空头胜率HMM-LSTM本文18.3%24.1%0.7671.2%63.8%Pure LSTM15.6%38.7%0.4058.4%52.1%MACD 金叉死叉9.2%42.3%0.2248.7%41.5%RSI(14) 超买超卖6.8%35.9%0.1943.2%39.6%注意所有模型使用完全相同的回测引擎、手续费、滑点设置。HMM-LSTM 的优势不在绝对收益而在风险调整后收益夏普提升 90%且空头胜率显著高于纯 LSTM——说明 HMM 确实提升了对下跌风险的识别能力。5.3 参数敏感性实验哪些参数真重要哪些可以默认我们对 6 个核心参数做 ±20% 扰动观察夏普比率变化幅度ΔSharpe参数默认值ΔSharpe扰动后结论HMM 状态数 K40.08 / -0.12高敏感K3 或 5 时夏普下降 0.1LSTM 隐藏层维度640.01 / -0.02低敏感32~128 均可接受LSTM dropout0.30.03 / -0.05中敏感0.2~0.4 区间稳定HMM 协方差类型full-0.15改用 diag极高敏感必须 full温度系数 T1.30.04 / -0.06中敏感1.1~1.5 可用序列长度 seq_len30-0.09改用 10 / -0.03改用 60高敏感20~40 最优结论很清晰K 和 seq_len 是必须精细调优的杠杆参数而 dropout 和 T 是稳健性调节器。我一般先固定 K4、seq_len30用贝叶斯优化搜 T 和 dropout最后再微调 K。6. 工程落地技巧如何把 HMM-LSTM 模型部署成低延迟信号服务6.1 模型序列化保存 HMM 和 LSTM 的最佳实践hmmlearn 模型不能用pickle直接序列化内部有 lambda 函数PyTorch 模型.pt文件也不含 scaler。正确做法是HMM用joblib.dump(model, hmm_model.joblib)joblib 对 sklearn/hmmlearn 兼容性最好LSTMtorch.save({state_dict: model.state_dict(), scaler: scaler}, lstm_checkpoint.pt)推理时先joblib.loadHMM再torch.loadcheckpoint用scaler.transform处理新数据。# 保存 import joblib import torch joblib.dump(hmm_model, hmm_4states.joblib) torch.save({ state_dict: lstm_model.state_dict(), scaler: scaler, input_dim: 9, num_classes: 3 }, lstm_hmm_v1.pt) # 加载 hmm joblib.load(hmm_4states.joblib) checkpoint torch.load(lstm_hmm_v1.pt) lstm_model HMM_LSTM(input_dimcheckpoint[input_dim]) lstm_model.load_state_dict(checkpoint[state_dict]) scaler checkpoint[scaler]6.2 实时推理加速用 ONNX 替换 PyTorch延迟从 120ms 降到 8msPyTorch 的forward在 CPU 上推理慢尤其对单条序列。转 ONNX 后用onnxruntime推理速度提升 15 倍导出时input_sample必须是torch.randn(1, 30, 9)batch1, seq30不能是(32,30,9)opset_version11兼容性最好更高版本可能报错ONNX 模型需用ort.InferenceSession加载输入名用session.get_inputs()[0].name动态获取。import torch.onnx import onnxruntime as ort # 导出 dummy_input torch.randn(1, 30, 9) torch.onnx.export( lstm_model, dummy_input, lstm_hmm.onnx, input_names[input], output_names[logits, confidence], opset_version11, do_constant_foldingTrue ) # 推理 session ort.InferenceSession(lstm_hmm.onnx) input_name session.get_inputs()[0].name output_name_logits session.get_outputs()[0].name output_name_conf session.get_outputs()[1].name # 新数据预处理同训练时 new_x scaler.transform(new_returns) # new_returns: (30, 5) posterior hmm.predict_proba(new_x) # (30, 4) x_combined np.concatenate([new_x, posterior], axis-1) # (30, 9) x_tensor torch.tensor(x_combined).unsqueeze(0).float() # (1,30,9) # ONNX 推理 outputs session.run([output_name_logits, output_name_conf], {input_name: x_tensor.numpy()}) logits, conf outputs[0][0], outputs[1][0] # 去 batch 维度6.3 信号稳定性增强用滑动窗口投票替代单点预测单次 LSTM 预测易受噪声影响。我们用过去 5 日的预测结果做加权投票权重 LSTM 输出的 confidence 值最终信号 np.average(predictions, weightsconfidences, axis0)若加权后涨类概率 0.6则发多头信号。实测该策略将信号翻转频率降低 40%且不牺牲捕捉主升浪的能力——因为主升浪期间 confidence 普遍 0.8权重自然倾斜。我坚持在实盘前做三件事第一用滚动回测确认夏普比率 0.6第二手动检查 HMM 的 4 个状态在典型行情中的分布比如 2020 年 7 月牛市启动时状态2“主升浪”占比是否从 5% 升至 35%第三把 ONNX 模型扔进压力测试确保 100 QPS 下延迟 15ms。这些不是仪式是防止自己被模型幻觉带偏的后悔药。希望帮到你。本文还有配套的精品资源点击获取
