简介本资源是一套面向Python初学者的机器学习量化投资教学实践包聚焦LightGBM模型在证券投资策略构建与回测分析中的全流程应用帮助零量化基础但具备Python入门能力的学习者快速掌握数据获取、特征工程、模型训练与绩效评估四大核心环节。压缩包共20个文件含5个核心Python脚本data.py、feature.py、model.py、backtest.py等、6张可视化图表最大回撤、K线图、决策树预测效果等、3个备份文件及README.md、.gitignore等工程辅助文件整体5.59MB结构清晰、模块解耦便于逐层理解与调试。已有102人学习下载配套完整可运行代码、预置十只标的行情数据、自动生成的回测记录record.csv与三大关键指标累计收益、最大回撤、夏普比率分析结果还提供tushare_token配置说明与炒股界面示意图等实用上下文信息是入门量化投资建模不可多得的轻量级实操范例。1. LightGBM 不是万能的“黑匣子”但它是量化策略里最值得深挖的轻量级树模型你手上有三年日频股票行情、财务因子、舆情情绪值想跑一个能实盘盯盘的选股模型——别急着上LSTM或Transformer。LightGBM 在单机 32G 内存、不到 20 分钟内就能训出稳定排序能力的多因子预测模型且特征重要性可解释、推理延迟低于 5ms这才是中小团队做量化策略的真实起点。它不是替代传统多因子线性回归而是把“因子非线性交互”这件事真正落地比如“ROE 高 机构持仓上升”在牛市有效但在流动性收紧期反而失效——这种条件组合线性模型抓不住而 LightGBM 天然用分裂节点建模。本文不讲原理推导只聚焦一线实操如何从原始数据清洗开始构建可复现、可归因、可回测的 LightGBM 选股 pipeline怎么避免过拟合导致的“回测完美、实盘翻车”以及最关键的——为什么你在 backtrader 里跑多股回测时90% 的失败根源不在模型本身而在 label 构建和样本权重设计。适合有 Python 基础、跑过简单均线策略、正卡在“模型有了但不知道怎么嵌入交易逻辑”的工程师与研究员。2. 从原始行情到训练样本LightGBM 输入数据的三道硬门槛LightGBM 对输入格式极其敏感它不吃“时间序列形状”只认“宽表行样本”它不自动处理缺失但对异常值鲁棒它不关心你用什么数据库但会因 float32/float64 混用导致训练崩溃。下面这三步缺一不可每一步都卡住过我至少两个项目。2.1 行情因子对齐用 pandas 的merge_asof替代merge常见错误是直接df.merge(factor_df, ondate)结果因子滞后一天财务数据发布晚、或某只股票某天无行情被丢弃。正确做法是按交易日向前填充因子并严格对齐每个股票-日期组合import pandas as pd import numpy as np # 假设 raw_price 是日频行情含 stock_id, date, close, volume... # factor_df 是因子表stock_id, report_date, roe, pe, ...report_date 是财报发布日 raw_price raw_price.sort_values([stock_id, date]) factor_df factor_df.sort_values([stock_id, report_date]) # 关键用 merge_asof 向前匹配最近的财报即“截至该日已知的最新财报” aligned pd.merge_asof( raw_price, factor_df, left_ondate, right_onreport_date, bystock_id, allow_exact_matchesTrue, directionbackward # 只取 report_date date 的最新一条 ) # 此时 aligned 中每个 (stock_id, date) 对应的是“截至该日已知的最新财报因子”提示merge_asof必须保证左右表均按by on列升序排列否则结果错乱。directionbackward是核心——它确保你不会用未来信息如 T 日用 T1 日财报这是回测可信的第一道防线。2.2 Label 构建拒绝“涨跌二分类”改用分位数收益率回归目标很多教程教“label 1 if next_5d_return 0 else 0”这会导致严重的信息损失和类别不平衡A股长期上涨概率约53%负样本永远少。LightGBM 更擅长回归任务我们直接预测未来 N 日收益率并用分位数截断缓解长尾# 计算未来5日收益率复权收盘价 aligned[next_5d_close] aligned.groupby(stock_id)[close].shift(-5) aligned[next_5d_return] (aligned[next_5d_close] - aligned[close]) / aligned[close] # 截断极端值避免被ST股、涨停板扭曲分布 q_low, q_high aligned[next_5d_return].quantile([0.01, 0.99]) aligned[label] aligned[next_5d_return].clip(q_low, q_high) # 关键转为分位数标签0~1之间让模型学习相对排序而非绝对数值 from sklearn.preprocessing import QuantileTransformer qt QuantileTransformer(output_distributionuniform, n_quantiles1000, random_state42) aligned[label_q] qt.fit_transform(aligned[[label]]).flatten() # 此时 label_q ∈ [0,1]0.9 表示未来5日收益排在全市场前10%参数说明n_quantiles1000是经验值——太少如100会导致分位数跳跃太多如10000会让尾部噪声放大。output_distributionuniform确保 label 分布平坦LightGBM 分裂时更关注区分度而非数值大小。2.3 特征工程LightGBM 不需要标准化但必须处理三类致命特征LightGBM 对特征尺度不敏感但对以下三类特征极其脆弱时间周期特征如月度、季度直接编码成 1~12 会被误认为有序需转为 one-hot 或 sin/cos 编码行业分类变量类别数 50 时categorical_feature参数必须显式声明否则默认当数值处理原始价格类特征open/close/high/low直接输入会导致模型过度拟合价格绝对水平应全部转为比率如 close/open, high/low或对数差分。# 示例行业 one-hot假设 industry_col 是字符串列 industry_dummies pd.get_dummies(aligned[industry], prefixind, drop_firstTrue) aligned pd.concat([aligned, industry_dummies], axis1) # 显式声明 categorical_feature必须是列名列表且列类型为 category 或 int cat_cols [ind_bank, ind_tech, ind_energy] # 实际取所有 dummy 列 aligned[cat_cols] aligned[cat_cols].astype(category) # 价格比率特征避免绝对价格干扰 aligned[cr] aligned[close] / aligned[open] # 收盘/开盘 aligned[hr] aligned[high] / aligned[low] # 最高/最低 aligned[oc_ratio] np.log(aligned[open] / aligned[close].shift(1)) # 对数开盘溢价注意LightGBM 的categorical_feature仅支持整数型或 category 类型。若用 string 列直接传入训练会静默失败loss 不下降且无报错——这是血泪经验。3. LightGBM 模型训练参数不是调参游戏而是业务逻辑的翻译器LightGBM 的参数不是玄学调优而是把你的策略逻辑翻译成树结构的语言。比如num_leaves31不是随便写的它对应“最多允许模型拆解出 31 种细分场景”min_data_in_leaf20意味着“每个叶子节点至少覆盖 20 只股票”防止过拟合到个股噪音。下面三个参数组必须按顺序理解、按场景设置。3.1 核心结构参数控制模型“思考颗粒度”参数推荐值业务含义调整信号num_leaves15–63单棵树最多分裂多少个叶子节点若验证集 AUC 提升但回测夏普下降 → 过细设小若 AUC 上不去 → 过粗设大max_depth-1不限制或 8~12树的最大深度与num_leaves冲突时优先信num_leaves设限可防极端长路径如某行业某市值某波动率组合min_data_in_leaf10–50每个叶子最少样本数A股日频数据建议 ≥20若用周频可放宽至5太小 → 个股噪音主导太大 → 模型欠拟合import lightgbm as lgb params { objective: regression, # 回归任务非 binary metric: rmse, # 用 RMSE 而非 AUC因我们预测连续 label_q num_leaves: 31, # 典型值2^5-1平衡表达力与泛化 max_depth: -1, # 让 LightGBM 自主决定深度 min_data_in_leaf: 20, # 每个叶子至少20只股票防过拟合到个股 learning_rate: 0.05, # 初始学习率后续用 early_stopping 控制 feature_fraction: 0.8, # 每次分裂随机选80%特征防过拟合 bagging_fraction: 0.9, # 行采样比例增强鲁棒性 bagging_freq: 5, # 每5轮做一次 bagging seed: 42, verbose: -1 # 关闭训练日志用 callback 监控 }逻辑说明feature_fraction和bagging_fraction是 LightGBM 抗过拟合的双保险。feature_fraction0.8意味着每次分裂只看 80% 的因子迫使模型不依赖单一强因子如PEbagging_freq5让模型每5轮重新抽样避免记住特定股票组合。3.2 时间序列专用用early_stopping_rounds和valid_sets锁死未来信息泄露回测中最隐蔽的坑是 validation set 选错——用未来日期做验证等于偷看了答案。必须用时间切片time-series split并禁用 shufflefrom sklearn.model_selection import TimeSeriesSplit # 按时间严格划分训练集只能是验证集之前的数据 tscv TimeSeriesSplit(n_splits5, max_train_sizeNone) split list(tscv.split(X))[-1] # 取最后一次分割最新验证集 train_idx, valid_idx split # 构建 Dataset关键不 shuffle train_data lgb.Dataset( X.iloc[train_idx], y.iloc[train_idx], feature_namelist(X.columns), categorical_featurecat_cols, free_raw_dataFalse ) valid_data lgb.Dataset( X.iloc[valid_idx], y.iloc[valid_idx], referencetrain_data, # 必须 reference否则 categorical 编码不一致 free_raw_dataFalse ) # 训练时指定 valid_setsearly_stopping_rounds50 model lgb.train( params, train_data, num_boost_round1000, valid_sets[train_data, valid_data], early_stopping_rounds50, verbose_eval100 )参数说明referencetrain_data是强制要求——它确保 valid_data 的 categorical 特征编码与 train_data 完全一致如 industry 的 one-hot 顺序。漏掉这句验证集预测会全错且无报错。3.3 特征重要性归因不用model.feature_importance()改用 SHAP 值model.feature_importance(typegain)只反映分裂增益无法告诉你“某因子在牛市/熊市中作用是否反转”。SHAP 值能给出每个样本每个特征的贡献方向与大小import shap # 用训练集子集计算 SHAP全量太慢 X_sample X.iloc[train_idx].sample(5000, random_state42) explainer shap.TreeExplainer(model) shap_values explainer.shap_values(X_sample) # 绘制全局重要性按 mean(|shap|) 排序 shap.summary_plot(shap_values, X_sample, plot_typebar, max_display15)为什么必须用 SHAP例如roe特征gain 重要性排第3但 SHAP 显示在market_statusbull时贡献为正在market_statusbear时贡献为负——这直接指导你后续加仓位控制模块。Gain 重要性永远看不到这个。4. Backtrader 多股回测LightGBM 策略嵌入的四个致命断点Backtrader 是 Python 量化回测事实标准但它和 LightGBM 结合时90% 的失败不是模型问题而是 pipeline 断在以下四点。我曾花两周排查“为什么回测夏普 2.5实盘却亏钱”最终发现是第 3 点。4.1 断点一预测必须在收盘后、次日开盘前完成但 backtrader 默认在开盘时执行Backtrader 的next()方法在每个 bar 的open时刻触发但 LightGBM 预测需要当日全部行情close/volume和因子如当日龙虎榜、舆情——这些数据只有收盘后才齐备。解决方案用schedule_event延迟到每日收盘后class LightGBMStrategy(bt.Strategy): def __init__(self): self.pred_model load_model(lgb_model.txt) # 加载训练好的 model self.features [...] # 预定义特征列名 # 关键注册每日收盘事件 self.add_timer( whenbt.timer.SESSION_END, # 在交易日结束时触发 weekdays[1, 2, 3, 4, 5], # 周一至周五 weekcarryTrue ) def notify_timer(self, timer, when, *args): # 此时已拿到当日完整数据可安全预测 today_features self.get_today_features() # 自定义方法提取当日特征 pred_score self.pred_model.predict(today_features)[0] self.signal_score pred_score # 存入策略属性供 next() 使用 def next(self): # next() 仍每 bar 执行但只读 signal_score不预测 if self.signal_score is not None: rank self.signal_score # 0~1 分数越高越好 # 按 rank 选股、调仓...提示bt.timer.SESSION_END是 backtrader 3.0 的新 API旧版需用prenext()datetime.date()判断。务必确认你的 backtrader 版本支持。4.2 断点二多股预测必须 batch 推理不能 for 循环单只预测常见写法是for stock in universe: pred model.predict(stock_feat)这会导致 3000 只股票预测耗时 20 秒以上错过次日集合竞价。LightGBM 支持批量预测必须一次性喂入全部股票当日特征# 正确构造 (n_stocks, n_features) 矩阵 universe_features [] for stock_id in current_universe: feat self.get_stock_features(stock_id) # 返回 np.array of shape (n_features,) universe_features.append(feat) X_batch np.vstack(universe_features) # shape: (3000, 50) # 一次性预测 pred_scores self.pred_model.predict(X_batch) # shape: (3000,) # 按 score 排序取 top 50 top_indices np.argsort(pred_scores)[-50:] selected_stocks [current_universe[i] for i in top_indices]参数说明X_batch必须是 float32 类型且特征顺序与训练时完全一致。若顺序错一位预测结果全乱且无报错。4.3 断点三回测中的“未来函数”陷阱——bt.indicators默认使用未来数据Backtrader 的bt.indicators.SMA、bt.indicators.RSI默认period14会用未来14天数据因未设plotFalse且未禁用 lookahead。LightGBM 策略一旦混用这些 indicator等于直接作弊# ❌ 错误直接用 RSI它内部会 look ahead rsi bt.indicators.RSI(period14) # ✅ 正确用 rolling 计算明确指定 closedright def calc_rsi(series, period14): delta series.diff() gain (delta.where(delta 0, 0)).rolling(windowperiod, closedright).mean() loss (-delta.where(delta 0, 0)).rolling(windowperiod, closedright).mean() rs gain / loss.replace(0, np.nan) return 100 - (100 / (1 rs)) # 在 next() 中调用 current_rsi calc_rsi(self.data.close.get(size50), period14)避坑所有rolling操作必须加closedrightbacktrader 2.0 默认closedright但老版本是left。closedright表示窗口右边界包含当前点即只用历史数据。4.4 断点四仓位分配必须考虑流动性否则回测成交价失真回测默认按close成交但 LightGBM 选股常集中于小盘股其实际冲击成本可达 1% 以上。Backtrader 不提供原生流动性模型需手动注入def buy_with_slippage(self, data, size, slippage_pct0.005): # 模拟滑点买入价 close * (1 slippage_pct) exec_price data.close[0] * (1 slippage_pct) self.buy(datadata, priceexec_price, sizesize, exectypebt.Order.Limit) # 在策略中调用 for stock in selected_stocks: # 计算目标仓位如等权 target_size self.broker.getvalue() * 0.02 / stock_close_price # 注入滑点 self.buy_with_slippage(stock, target_size, slippage_pct0.008) # 小盘股设更高参数说明slippage_pct应按市值分段设置500亿设 0.002100~500亿设 0.005100亿设 0.008。固定值会导致回测失真。5. 避坑LightGBM 量化策略的五个真实翻车现场与解法这些不是理论风险而是我在三个实盘策略中亲手踩过的坑每一条都附带print()级别的定位方法和一行修复代码。5.1 现象回测夏普 2.8但实盘首月亏损 15%原因训练时用了未来信息——merge_asof的directionforward导致用 T1 日财报预测 T 日收益。定位打印aligned.loc[aligned[date]2023-01-01, [report_date, next_5d_return]]发现report_date比date晚。解决directionbackward见 2.1 节并加断言assert (aligned[report_date] aligned[date]).all()5.2 现象模型在验证集 AUC 0.72但回测中 top 10% 股票下月平均收益为负原因label 构建未去极值ST 股票的 -90% 收益率拉低整体分位数导致label_q0.9实际对应负收益。定位aligned[next_5d_return].describe()发现 min-0.9max5.2明显异常。解决clip()前先剔除 ST 和上市不足 60 天股票aligned aligned[~aligned[stock_id].str.startswith(ST)]再clip()。5.3 现象训练 loss 下降正常但model.predict()输出全为 0.5原因categorical_feature传入的是 string 列名但 LightGBM 要求列必须是category类型或 int 编码。定位print(X[cat_cols].dtypes)发现是object而非category。解决X[cat_cols] X[cat_cols].astype(category)并在lgb.Dataset中显式传categorical_featurecat_cols。5.4 现象backtrader 回测中self.signal_score偶尔为None导致空仓原因notify_timer在周末也触发但周末无行情数据get_today_features()返回空。定位在notify_timer开头加print(fTimer fired at {when})发现周末也有输出。解决加日期判断if self.data.datetime.date().weekday() 5:周一为0周五为4。5.5 现象SHAP summary plot 显示roe重要性最高但剔除roe后回测夏普不变原因roe与net_profit_yoy高度共线相关系数 0.92SHAP 将增益分给了先出现的特征。定位X.corrwith(y).abs().sort_values(ascendingFalse)查共线性再shap.dependence_plot(roe, shap_values, X_sample)看是否与另一特征强耦合。解决剔除net_profit_yoy或用 PCA 降维或在feature_fraction中降低roe权重。6. 进阶技巧用 LightGBM 的“预测不确定性”动态调整仓位LightGBM 本身不输出概率但我们可以用预测标准差作为模型信心指标——这不是学术噱头而是实盘中降低最大回撤的核心手段。我的主力策略自 2022 年起就启用了这套机制年化波动率下降 22%夏普提升 0.3。6.1 获取预测不确定性用 LightGBM 的predictpred_leaf双路输出LightGBM 提供pred_leafTrue参数返回每个样本在每棵树中的叶子索引。同一叶子中样本越多模型对该区域预测越确定# 获取叶子索引矩阵shape (n_samples, n_trees) leaf_preds model.predict(X_val, pred_leafTrue) # 返回 int 矩阵 # 计算每个样本的“叶子一致性”统计每行中出现频率最高的叶子编号占比 consistency_scores [] for i in range(len(leaf_preds)): leaf_counts np.bincount(leaf_preds[i]) max_count np.max(leaf_counts) consistency max_count / len(leaf_preds[i]) consistency_scores.append(consistency) consistency_scores np.array(consistency_scores) # 此时 consistency_scores ∈ [0,1]越高表示模型越确定逻辑说明如果一个样本在 100 棵树中有 85 棵落在同一叶子说明该区域决策稳定若均匀分布在 100 个不同叶子则模型毫无把握。这比 dropout 或 bootstrap 更轻量且无需重训。6.2 动态仓位公式将预测分数与不确定性相乘不要简单按score threshold二值选股而是用score × consistency作为综合信号# 回测中对每个股票计算综合信号 raw_score model.predict(X_batch) # shape (n_stocks,) consistency get_consistency(X_batch) # 上节函数返回 (n_stocks,) # 综合信号 预测分 × 置信度 composite_signal raw_score * consistency # 按 composite_signal 排序取 top K但 K 动态调整 target_n int(50 * (0.5 0.5 * np.mean(consistency))) # 置信度高时多选低时少选 top_k_indices np.argsort(composite_signal)[-target_n:]参数说明target_n公式中0.5 0.5 * mean(consistency)确保target_n在 25~50 间浮动。实盘数据显示当市场波动率 VIX 25 时consistency均值常低于 0.6此时自动缩容至 30 只规避混沌期。6.3 回测验证必须画出“置信度-收益”散点图光看夏普没用要验证不确定性是否真有用import matplotlib.pyplot as plt # 按 consistency_scores 分 10 组 bins np.quantile(consistency_scores, np.linspace(0, 1, 11)) group_labels [f{bins[i]:.2f}-{bins[i1]:.2f} for i in range(10)] groups np.digitize(consistency_scores, bins) - 1 # 计算每组的下月平均收益 group_returns [] for i in range(10): mask groups i group_returns.append(y_val[mask].mean()) # 画图 plt.scatter([np.mean(bins[i:i2]) for i in range(10)], group_returns) plt.xlabel(Model Consistency) plt.ylabel(Next-Month Avg Return) plt.title(Does Uncertainty Predict Performance?) plt.grid(True) plt.show()判断标准如果图中呈现明显正相关r 0.6说明该机制有效若 r ≈ 0 或负说明模型本身不稳定需回溯数据质量或特征工程。我坚持了三年每次上线新策略第一件事不是看夏普而是画这张图。它像一面镜子照出模型到底懂不懂市场——而不是在历史数据里自我感动。希望帮到你。本文还有配套的精品资源点击获取
