霍桑工厂发生了什么
在20世纪20年代和30年代，西方电气公司位于芝加哥附近的霍桑工厂的研究人员进行了一系列关于工人生产率的实验。
他们改变了照明水平、工作时间、休息安排和工作条件。一致的发现是：几乎所有改变都改善了生产率——甚至包括那些明显恶化工作条件的改变。
结论是：工人的反应不是对具体改变的响应，而是对管理层正在关注他们、关心他们的福利、试图改善他们状况的认知的响应。
这就是霍桑效应：当人们认为自己被观察，以及为了他们的利益而做出改变时，表现会改善，无论具体改变是否真正有益。
哈明认为这个效应对教育研究特别具有破坏性：
> 如果你告诉学生你在使用新的教学方法，那么他们会做出更好的表现响应，教授也是如此。新方法可能更好，也可能不更好，事实上可能更糟，但霍桑效应...很可能表明这是一个新的、重要的、改进的教学方法。
对教育研究的含义
霍桑效应对教育实验造成了一个根本性的测量问题。任何新的教学方法——无论多么平庸或有害——都会看起来产生短期收益，仅仅因为学生和教师将改变视为关心的证据。
哈明的结论是：大多数教育实验都无法将真正的学习改善与霍桑效应的噪声分离开来。
医学中的理想补救：双盲实验。患者和医生都不知道哪种治疗是有效的。这控制了患者对感知照顾的反应和医生行为变化。
教育中的问题是：双盲实验几乎是不可能的。学生知道他们正在学习的方法。教师知道他们使用的方法。霍桑效应无法被盲化。
评分程序
1960年，在斯坦福大学的学术休假期间，哈明遇到了计算机在教育中最早的用途之一：针对编程任务的'评分程序'。
该系统的工作原理如下：教授提交了一个正确的解决方案程序，并指定了输入变量、有效的输入范围和可接受的输出容差。当学生提交他们的程序时，机器生成了随机的可接受输入，运行了两个程序，并比较了输出。学生立即了解了他们的程序是否正确。
这个自动化反馈循环具有人类评分员无法轻松提供的特性：
即时反馈。 学生在提交后几秒内收到结果，当思考过程仍然活跃时。
可重复性。 相同的标准适用于每次提交。没有评分者疲劳，没有偏袒。
耐心。 系统以与第一次提交相同的严谨性处理第100次提交。
规模。 一位教授的程序同时对整个班级进行评分。
分支程序
简单的自动评分器对每个学生运行相同的测试序列。分支程序根据学生的响应调整序列。
如果学生回答正确，程序会推进到更难的材料。如果学生遇到困难，程序分支到补习内容、替代解释或已解决的例子。通过课程的路径不是固定的：它取决于学生在每一步表现出来的理解。
哈明的问题是：自适应反馈是否比固定序列产生更好的学习？诚实的答案是：霍桑效应使这极其难以确立。关于分支程序的每项研究都显示收益——但关于任何新教学方法的每项研究也都显示收益，这是由于霍桑效应机制。
什么使教学工具真正更好？
哈明没有驳回计算机辅助教学。他认识到真实的优势：即时反馈、耐心和适应。但他对声称验证新教学方法的研究深表怀疑，这是由于霍桑效应的原因。
他的隐含标准是：当一种教学方法在多个学生队列中幸存下来进行受控评估、具有长期学习成果（而不是立即的测试分数）、具有对假设盲化的研究人员、以及效果大小足以超过已知的霍桑效应幅度时，该教学方法值得采用。
根据这个标准，他那个时代几乎没有教育研究——也可以说之后很少有——达到了这个标准。
他还指出了一个反常的霍桑含义：最优的教学策略可能就是永恒的新颖性。如果任何新方法因为学生将其视为关心证据而改善表现，那么不断轮换方法会产生持续提升的表现——不是因为任何特定方法很好，而是因为改变本身是有效的成分。