Vad hände på Hawthorne-fabriken
Under 1920- och 1930-talen genomförde forskare vid Western Electrics Hawthorne Works-fabrik nära Chicago en serie experiment om arbetarnas produktivitet.
De varierade belysningsnivåer, arbetstider, pausscheman & fysiska förhållanden. Den konsistenta upptäckten: produktiviteten förbättrades med nästan varje förändring — inklusive förändringar som gjorde förhållandena objektivt värre.
Slutsatsen: arbetare reagerade inte på de specifika förändringarna utan på uppfattningen att ledningen uppmärksammade dem, brydde sig om deras välfärd & försökte förbättra deras situation.
Det här är Hawthorne-effekten: prestationen förbättras när människor uppfattar att de blir observerade & att förändringar görs till deras fördel, oavsett om den specifika förändringen faktiskt är fördelaktig.
Hamming såg denna effekt som särskilt förödande för utbildningsforskning:
> Om du berättar för studenterna att du använder en ny undervisningsmetod reagerar de med bättre prestationer, och det gör även professorn, förresten. En ny metod kan eller kanske inte är bättre, ja den kan faktiskt vara värre, men Hawthorne-effekten... tenderar att indikera att det här är en ny, viktig, förbättrad undervisningsmetod.
Konsekvenser för utbildningsforskning
Hawthorne-effekten skapar ett grundläggande mätproblem för utbildningsexperiment. Vilken ny undervisningsmetod som helst — hur medioker eller skadlig den än är — kommer att verka producera kortsiktiga vinster helt enkelt för att studenter och lärare uppfattar förändringen som bevis på omsorg.
Hammings slutsats: mest utbildningsexperimentering misslyckas att isolera genuina förbättringar i lärandet från Hawthorne-effektens brus.
Det ideala botemedlet inom medicin: dubbelblindexperimentet. Varken patienten eller läkaren vet vilken behandling som är aktiv. Detta kontrollerar både patientens respons på uppfattad omsorg och läkarens beteendeförändring.
Problemet inom utbildning: dubbelblindexperiment är nästan omöjliga. Studenter vet vilken metod de undervisas med. Lärare vet vilken metod de använder. Hawthorne-effekten kan inte blindas bort.
Bedömningsprogrammet
År 1960, under ett sabbatsår vid Stanford, mötte Hamming en av datorernas tidigaste användningar inom utbildning: ett 'bedömningsprogram' för programmeringsuppgifter.
Systemet fungerade på följande sätt: professorn skickade in ett korrekt lösningsprogram och specificerade inmatningsvariablerna, giltiga inmatningsintervall & acceptabel utdatatolerans. När en student skickade in sitt program genererade maskinen slumpmässiga tillåtna ingångar, körde båda programmen & jämförde utgångarna. Studenten lärde sig omedelbart om hans eller hennes program var korrekt.
Denna automatiserade återkoppling hade egenskaper som en mänsklig bedömare inte lätt kunde tillhandahålla:
Omedelbar återkoppling. Studenten mottog resultat inom sekunder från inlämningen, när tankeprocessen fortfarande var aktiv.
Reproducer barhet. Samma kriterier tillämpades på varje inlämning. Ingen bedömarförtröttning, ingen favoritism.
Tålamod. Systemet behandlade den 100:e inlämningen med samma rigor som den första.
Skala. En professors program bedömde en hel klass samtidigt.
Förgreningsprogram
En enkel automatiserad bedömare kör samma testsekvens för varje student. Ett förgreningsprogram anpassar sekvensen baserat på studenternas svar.
Om en student svarar korrekt går programmet vidare till svårare material. Om studenten kämpar branschar programmet till åtgärdande innehål, alternativa förklaringar eller lösta exempel. Vägen genom läroplanen är inte fixerad: den beror på studentens påvisade förståelse vid varje steg.
Hammings fråga: producerar adaptiv återkoppling bättre lärande än en fast sekvens? Det ärliga svaret: Hawthorne-effekten gör detta extremt svårt att etablera. Varje studie av förgreningsprogram visar vinster — men det gör även varje studie av någon ny undervisningsmetod, genom Hawthorne-mekanismen.
Vad gör ett undervisningsverktyg verkligen bättre?
Hamming avfärdade inte datorstödd undervisning. Han identifierade verkliga fördelar: omedelbar återkoppling, tålamod & anpassning. Men han var djupt skeptisk till forskning som hävdade att validera nya undervisningsmetoder, av Hawthorne-skälet.
Hans underförstådda standard: en undervisningsmetod förtjänar att antas när den överlever kontrollerad utvärdering över flera kohorter, med långsiktiga lärningsresultat (inte omedelbar testresultat), med forskare som var blinda för hypotesen & med effektstorlekar stora nog för att överskrida den kända Hawthorne-effektens magnitud.
Med den standarden mötte nästan ingen utbildningsforskning från hans tid — och möjligen lite sedan — ribban.
Han noterade också en pervers Hawthorne-implikation: den optimala undervisningsstrategin kanske helt enkelt är ständig nyhet. Om någon ny metod förbättrar prestationen för att studenter uppfattar det som bevis på omsorg, skulle ständigt roterande metoder producera konsistent förhöjd prestanda — inte för att någon specifik metod är bra, utan för att förändring i sig själv är den aktiva ingrediensen.