我出的题有人能做对，也有人能做错，因此就是好题。
—— 王老师
设想有一道毫无道理的单选题。我们可以预测，该题会有25%的考生做对，75%的考生做错。
毫无道理的题目不能区分考生的能力，因此是一道烂题，即使仍然有人能作对，有人能做错。
一：不要强行解释烂题
在机器学习中，一种理论过拟合指的是，它能完美解释已知情况，但却对未知情况预测准确度很低。
在做题中，一种理论过拟合指的是，它可以在知道答案的情况下解释的通，但遇到新题却无能为力。
机器学习中过拟合成因：
- 学习了太多噪声（即不准确的例子）
- 模型过于复杂（存在太多的特例）
- 训练样本不足
对我们的启示是：
为了得到真正的知识，而非貌似合理却毫无用处的理论），我们应当
- 放弃学习烂题（减少噪声）
- 不要针对某个特例强行解释（减少理论复杂度，增加普适性）
- 在以上基础上多做题
许多人的直觉是，如果我强行解释了烂题，下次考试面对类似的题也许就能做对了，或至少这样做是无害的。这种想法是错误的。
在机器学习中，过拟合会降低理论的普适性，即降低你自己面对新题时的正确率。
也可以这样理解，如果你根据烂题修改了你的知识体系，那么你的头脑就会变得更加混乱，因此将来会得更低的分数。
又有人问：如果放弃学习烂题，那么是不是意味着我们无法做对烂题了呢？
回答是：如果一道题只有靠运气才能做对，那么你也只能靠运气才能做对。
二：从统计学角度看待烂题
对于有的题目，有人觉得有道理，有人觉得没道理，那么它究竟有没有道理呢？
这是应当以专家（命题人/老师/最佳学生）的意见为标准？还是以大众（普通考生）的意见为标准呢？
本章提供了一种统计学上的客观标准。
需要注意的是，如果要得到有意义的统计数据，必须有足够数量的考生（成千上万），在一个班中随便调查几个同学是不够的。然而，即使你没有条件进行统计，这些想法也应当对你有所启发。
烂题定理：
如果一道题区分度很低，同时难度不低，那么很可能是一道烂题。
这个定理中包含了两个统计学术语，难度与区分度，下面分别解释
难度：
做对该题的人数➗总人数
如果你觉得这个定义很反常理（但这的确是教科书中的说法），你可以把难度理解为“容易度”，容易度越大题目容易。
- 容易度为1的题目非常简单，即所有人都做对了
- 容易度为0~0.3之间的题目属于难题，即只有30%的人做对了
- 容易度为0的题目无比困难，即所有人都在瞎蒙
区分度：
对于总分前27%考生的容易度➖对于总分27%后考生的容易度
区分度越大，优秀考生越容易做对，同时普通考生越不容易做对
- 区分度为-1~0，说明该题答案错误
- 区分度为0~0.2，说明该题区分度很低
- 区分度为0.2~1，说明该题区分度尚可
再看烂题定理：
如果一道题区分度很低（小于0.2），说明这道题无法区分好生和差生，这可能这道题太简单、太难、或者不准确导致。
为了区分这三种情况，我们再看容易度，如果该题容易度不低（大于0.3），说明这道题并不是简单的大家都会（这通常可以接受），而是太难或者不准确（甚至答案错误）导致的，因此这道题即有可能是烂题。
三：总结
如果一道题目，无论好学生还是差学生都基本上靠瞎蒙得分，那么这道题很有可能是烂题，即使专家看了答案以后能解释的通。
为了得到有用的知识，以便指导我们将来做对更多的题目，最好的做法是不要强行合理化烂题，而应当有意识的放弃它。
运气也是实力的一种
—— 卡卡西
以上就是把不可捉摸的运气，强行解释成为可以从某种程度上掌握的实力。这虽然能够解释当前发生的事情，但这种虚假的知识，是无法用于将来的情况的。而这种对自己知识体系的修改，也会在一定程度上，让人的头脑变得更加混乱，从而在面临新的问题时正确率降低。