霍桑工廠發生了什麼
在1920年代和1930年代，西電公司位於芝加哥附近的霍桑工廠的研究人員進行了一系列關於工人生產力的實驗。
他們改變了照明水平、工作時間、休息時間表及物理條件。持續的發現是：幾乎每一項改變都提高了生產力——包括實際上惡化條件的改變。
結論是：工人的反應不是對具體改變的反應，而是對管理層關注他們、關心他們的福利及試圖改善他們狀況的認知。
這就是霍桑效應：當人們認為他們正被觀察，且改變是為了他們的好處時，表現就會改善，無論具體的改變是否真正有益。
漢明將此效應視為對教育研究特別具有毀滅性的：
> 如果你告訴學生你正在使用一種新的教學方法，他們會做出更好的表現反應，教授也會不經意地這樣做。一種新方法可能更好，也可能不是，實際上可能更差，但霍桑效應……可能會表明存在一種新的、重要的、改進的教學方法。
對教育研究的含義
霍桑效應為教育實驗創造了一個基本的測量問題。任何新的教學方法——無論多麼平庸或有害——都會因為學生和教師將改變視為關心的證據，而似乎產生短期收益。
漢明的結論：大多數教育實驗未能將真正的學習改善與霍桑效應的噪音隔離開。
醫學中的理想補救方法：雙盲實驗。患者和醫生都不知道哪種治療是活躍的。這控制了患者對感知護理的反應和醫生行為改變。
教育中的問題：雙盲實驗幾乎是不可能的。學生知道他們正在學習哪種方法。教師知道他們正在使用哪種方法。霍桑效應無法被隱瞞掉。
評分程序
在1960年，漢明在斯坦福大學的一個學年假期間，遇到了最早在教育中使用電腦的案例之一：一個用於編程作業的「評分程序」。
系統的運作方式如下：教授提交了正確的解決方案程序並指定了輸入變數、有效的輸入範圍及可接受的輸出容差。當學生提交他們的程序時，機器生成隨機可接受的輸入，運行兩個程序，並比較輸出。學生立即了解他們的程序是否正確。
這個自動化反饋迴圈具有人工評分者無法輕易提供的特性：
即時反饋。學生在提交後幾秒內獲得結果，當思考過程仍然活躍時。
可重複性。相同的標準適用於每一次提交。沒有評分者疲勞，沒有偏袒。
耐心。系統以與第一次提交相同的嚴謹處理第100次提交。
規模。一位教授的程序同時對整個班級進行評分。
分支式程序
普通的自動化評分程序為每個學生運行相同的測試序列。分支式程序根據學生的回答調整序列。
如果學生答對了，程序會進展到更難的材料。如果學生掙扎，程序會分支到補救內容、替代解釋或已解決的例子。通過課程的路徑不是固定的：它取決於學生在每一步表現出的理解程度。
漢明的問題：鑑於霍桑效應，分支式程序是否會比固定序列產生更好的學習效果？誠實的答案：霍桑效應使這極其難以確定。每項關於分支式程序的研究都顯示收益——但通過霍桑機制，每項任何新教學方法的研究也都會這樣。
什麼使教學工具真正更好？
漢明並沒有否定電腦輔助教學。他認識到真正的優勢：即時反饋、耐心及適應。但由於霍桑的原因，他對聲稱驗證新教學方法的研究深表懷疑。
他隱含的標準：當教學方法在多個隊列中經過受控評估、具有長期學習成果（而不是即時測試成績）、由對假設盲目的研究人員進行，以及效果大小足以超過霍桑效應的已知幅度時，它值得採用。
根據該標準，幾乎他那個時代的所有教育研究——可能自那以後也很少有——達到了這個標準。
他還注意到了一個反常的霍桑含義：最優的教學策略可能只是持續的新穎性。如果任何新方法都改善表現，因為學生認為這是關心的證據，那麼持續旋轉方法會產生持續升高的表現——不是因為任何特定的方法很好，而是因為變化本身是活躍的成分。