回测过拟合

是什么

回测过拟合，指跑了很多个变体、只报最好的那一个。

这是与普通过拟合不同的另一种失败。这里规则本身可能很简单，问题出在搜索：试得足够多，一个好结果光凭运气就会出现 —— 而且它看起来跟真的完全一样。

机制

如果你测 1000 条随机规则，其中总有一些会看起来很棒。从 1000 个里挑出最好的那个，不是有优势的证据，是「你试了 1000 次」的证据。

线索是尝试次数 —— 而它几乎从不被披露。

怎么检查

问：在选出这一个之前，一共测了多少个变体？

如果答不上来，或者搜索是开放式的 ——「我们一直调到它管用为止」—— 那报告出来的结果，是一次未披露搜索的最大值。