样本外测试

是什么

样本外测试，是在规则没有建立于其上的数据上检验它。

规则在一段时期上开发（样本内），然后在它从未见过的一段上评估（样本外）。

为什么这是诚实的一步

任何规则都能被调到拟合它调参用的数据。样本外是唯一问「它能不能泛化」的测试 —— 而它正是多数报告结果悄悄省掉的那一步。

不算证据	才算证据
「它在我们建立它的数据上有效」	「它在它没见过数据上有效」
一个关于拟合的陈述	一个关于未来的陈述

怎么检查

问一个问题：这个结果是在规则调参过的数据上产生的吗？

如果是 —— 或者这个问题答不上来 —— 那个结果告诉你的是拟合的情况，不是规则的情况。见过拟合与数据窥探。