【原创】烂题定理

我出的题有人能做对,也有人能做错,因此就是好题。

—— 王老师


设想有一道毫无道理的单选题。我们可以预测,该题会有25%的考生做对,75%的考生做错。

毫无道理的题目不能区分考生的能力,因此是一道烂题,即使仍然有人能作对,有人能做错。


一:不要强行解释烂题

在机器学习中,一种理论过拟合指的是,它能完美解释已知情况,但却对未知情况预测准确度很低。

在做题中,一种理论过拟合指的是,它可以在知道答案的情况下解释的通,但遇到新题却无能为力。

机器学习中过拟合成因:

  1. 学习了太多噪声(即不准确的例子)
  2. 模型过于复杂(存在太多的特例)
  3. 训练样本不足

对我们的启示是:

为了得到真正的知识,而非貌似合理却毫无用处的理论),我们应当

  1. 放弃学习烂题(减少噪声)
  2. 不要针对某个特例强行解释(减少理论复杂度,增加普适性)
  3. 在以上基础上多做题

许多人的直觉是,如果我强行解释了烂题,下次考试面对类似的题也许就能做对了,或至少这样做是无害的。这种想法是错误的。

在机器学习中,过拟合会降低理论的普适性,即降低你自己面对新题时的正确率。

也可以这样理解,如果你根据烂题修改了你的知识体系,那么你的头脑就会变得更加混乱,因此将来会得更低的分数。

又有人问:如果放弃学习烂题,那么是不是意味着我们无法做对烂题了呢?

回答是:如果一道题只有靠运气才能做对,那么你也只能靠运气才能做对。

二:从统计学角度看待烂题

对于有的题目,有人觉得有道理,有人觉得没道理,那么它究竟有没有道理呢?

这是应当以专家(命题人/老师/最佳学生)的意见为标准?还是以大众(普通考生)的意见为标准呢?

本章提供了一种统计学上的客观标准。

需要注意的是,如果要得到有意义的统计数据,必须有足够数量的考生(成千上万),在一个班中随便调查几个同学是不够的。然而,即使你没有条件进行统计,这些想法也应当对你有所启发。

烂题定理:

如果一道题区分度很低,同时难度不低,那么很可能是一道烂题。

这个定理中包含了两个统计学术语,难度与区分度,下面分别解释

难度:

做对该题的人数➗总人数

如果你觉得这个定义很反常理(但这的确是教科书中的说法),你可以把难度理解为“容易度”,容易度越大题目容易。

  • 容易度为1的题目非常简单,即所有人都做对了
  • 容易度为0~0.3之间的题目属于难题,即只有30%的人做对了
  • 容易度为0的题目无比困难,即所有人都在瞎蒙

 

区分度:

对于总分前27%考生的容易度➖对于总分27%后考生的容易度

区分度越大,优秀考生越容易做对,同时普通考生越不容易做对

  • 区分度为-1~0,说明该题答案错误
  • 区分度为0~0.2,说明该题区分度很低
  • 区分度为0.2~1,说明该题区分度尚可

再看烂题定理:

如果一道题区分度很低(小于0.2),说明这道题无法区分好生和差生,这可能这道题太简单、太难、或者不准确导致。

为了区分这三种情况,我们再看容易度,如果该题容易度不低(大于0.3),说明这道题并不是简单的大家都会(这通常可以接受),而是太难或者不准确(甚至答案错误)导致的,因此这道题即有可能是烂题。

 

三:总结

如果一道题目,无论好学生还是差学生都基本上靠瞎蒙得分,那么这道题很有可能是烂题,即使专家看了答案以后能解释的通。

为了得到有用的知识,以便指导我们将来做对更多的题目,最好的做法是不要强行合理化烂题,而应当有意识的放弃它。

 

运气也是实力的一种

—— 卡卡西


以上就是把不可捉摸的运气,强行解释成为可以从某种程度上掌握的实力。这虽然能够解释当前发生的事情,但这种虚假的知识,是无法用于将来的情况的。而这种对自己知识体系的修改,也会在一定程度上,让人的头脑变得更加混乱,从而在面临新的问题时正确率降低。

发表评论

电子邮件地址不会被公开。 必填项已用*标注