数据窥探

是什么

数据窥探，是用同一份数据既发现规律、又检验规律。

那样的话，检验只是确认了已经拟合上去的东西。它看起来像验证，其实是对搜索行为的一次重述。

为什么容易被忽略

它很少看起来像作弊。顺序很自然：

1. 看数据
2. 注意到一个规律
3. 在同一份数据上检验这个规律
4. 检验通过

错在第 3 步。 规律之所以被找到，正是因为它拟合了那份数据 —— 在那上面测它，证明不了任何事。

怎么检查

问：这条规则是在看这份数据之前选的，还是之后选的？

一条在「它被挑选出来的那份数据」上评估的规则，没有被评估过。它只是被描述过。