1. 期货量化交易中的过拟合陷阱做量化交易的朋友都知道策略失效是最大的噩梦。去年我团队开发的一个CTA策略在回测阶段年化收益高达80%结果实盘运行三个月就亏掉了20%的本金。复盘时发现这个策略完美拟合了历史数据中的特定波动模式但对新的市场环境完全失效——这就是典型的过拟合问题。识别策略是否过拟合本质上是在判断这个策略捕捉到的是市场真实规律还是仅仅记住了历史数据中的噪声。这个问题在期货交易中尤为致命因为期货市场的高杠杆特性会放大任何微小的预测误差。2. 过拟合的典型特征识别2.1 回测与实盘的性能断层健康的策略在回测和实盘中的表现差异通常在20%以内。如果发现以下情况就要警惕过拟合回测夏普比率2实盘0.5回测最大回撤10%实盘30%回测胜率70%实盘50%去年我们测试过一个基于MACD变体的策略在2016-2020年螺纹钢数据上表现惊艳但2021年实盘时发现它完全抓不住新的波动节奏。后来发现这个策略参数对2018年的供给侧改革行情存在特殊依赖。2.2 参数敏感度过高用参数扫描法测试时如果发现某个参数值改变1%收益就下跌50%参数最优值处于参数空间的边缘位置不同时间段需要完全不同的参数组合比如某均线交叉策略当快线周期设为12天时收益最好11天或13天都大幅下降这种尖峰现象就是过拟合的明显信号。3. 过拟合检测的实战方法3.1 样本外测试(OOS)的正确姿势我常用的三重验证法将数据分为训练集(60%)、验证集(20%)、测试集(20%)训练集用于策略开发验证集用于参数优化测试集完全不动最后做最终验证特别注意期货数据要保留最近2年的行情作为最终测试集因为市场微观结构会随时间变化。去年测试一个股指期货套利策略时用2017-2019年数据训练表现很好但用2020年疫情行情测试就完全失效。3.2 蒙特卡洛交叉验证具体操作步骤随机选取100组训练/测试数据组合每组训练集占70%测试集30%计算100次测试的平均收益分布健康策略的收益分布应该集中过拟合策略的收益会呈现极端发散。我开发的一个商品期货趋势策略100次测试中95%的夏普比率在1.2-1.8之间这种稳定性就比较好。4. 策略失效的预警信号4.1 市场环境变化指标我每天会监控这些关键指标波动率变化当前波动率与策略开发期差异30%成交量变化主力合约成交量偏离均值2个标准差期限结构Contango/Backwardation状态改变比如2022年原油期货从Contango突然转为Backwardation时很多基于展期收益的策略就失效了。4.2 策略本身的表现异常这些是必须立即停止策略的信号连续5次交易亏损超过历史最大连亏记录单日回撤超过策略设计值的150%交易信号频率异常升高或降低有个真实的教训我们有个突破策略在铁矿期货上突然出现单日10%的回撤检查发现是因为交易所调整了涨跌停板幅度导致策略的止损逻辑失效。5. 过拟合策略的挽救方法5.1 参数鲁棒性优化我常用的方法在参数空间内随机采样100组参数选择其中夏普比率1的参数组计算这些参数组的收益相关性保留相关性0.7的参数组构建策略组合这样得到的策略组合在去年沪铜行情中虽然单策略最大回撤15%但组合回撤控制在7%以内。5.2 动态权重调整实盘中的调整技巧每月评估各子策略的近期表现给予过去3个月夏普比率高的策略更高权重对连续2个月表现差的策略暂时停用这个方法的实际效果我们的多策略组合在2023年商品震荡市中通过动态调整将年化收益从预估的25%提升到了38%。6. 从开发阶段预防过拟合6.1 数据预处理要点必须包含多个完整的牛熊周期商品期货至少5年数据要包含极端行情如2020年原油负价格事件不同合约的主力切换要处理连续我开发股指期货策略时会特意加入2015年股灾、2016年熔断等极端行情的数据。6.2 策略设计原则限制参数数量我的经验法则是每10000根K线对应1个参数避免使用未来函数如交易信号不要用到当根K线的收盘价交易逻辑要有经济学意义不要出现周二下午买周三上午卖这种玄学规则有个反例曾经见过一个策略在螺纹钢上表现极好后来发现它依赖某个特定交易所的夜盘开盘时间规律政策调整后立即失效。
