Wat er gebeurde in de Hawthorne-fabriek
In de jaren 1920 en 1930 voerden onderzoekers van de Hawthorne Works-fabriek van Western Electric in de buurt van Chicago een reeks experimenten uit met de productiviteit van werknemers.
Ze varieerden verlichtingsniveaus, werkuren, pauzeregeling & fysieke omstandigheden. De consistente bevinding: de productiviteit verbeterde bij bijna elke verandering — inclusief veranderingen die de omstandigheden objectief slechter maakten.
De conclusie: werknemers reageerden niet op de specifieke veranderingen, maar op de waarneming dat het management aandacht aan hen besteedde, zich om hun welzijn bekommerde, & hun situatie wilde verbeteren.
Dit is het Hawthorne-effect: prestaties verbeteren wanneer mensen voelen dat ze in de gaten worden gehouden & dat veranderingen voor hun voordeel worden aangebracht, ongeacht of de specifieke verandering werkelijk voordelig is.
Hamming zag dit effect als bijzonder verwoestend voor onderwijsonderzoek:
> Als je studenten vertelt dat je een nieuwe onderwijsmethode gebruikt, reageren zij met betere prestaties, & toevallig ook de professor. Een nieuwe methode kan beter zijn, of niet, inderdaad kan het slechter zijn, maar het Hawthorne-effect... zal waarschijnlijk hier aanwijzen dat er een nieuw, belangrijk, verbeterd onderwijsmiddel is.
Implicaties voor onderwijsonderzoek
Het Hawthorne-effect creëert een fundamenteel meetprobleem voor onderwijsexperimenten. Elke nieuwe onderwijsmethode — hoe middelmatig of schadelijk ook — zal korte-termijnwinsten lijken op te leveren, simpelweg omdat studenten en docenten de verandering als bewijs van zorg ervaren.
Hamming's conclusie: het meeste onderwijsonderzoek faalt erin om echte leerverbetering te onderscheiden van het Hawthorne-effect-lawaai.
Het ideale middel in de geneeskunde: het dubbelblinde experiment. Noch de patiënt noch de arts weet welke behandeling actief is. Dit controleert zowel de patiëntrespons op waargenomen zorg als gedragsverandering van artsen.
Het probleem in het onderwijs: dubbelblinde experimenten zijn bijna onmogelijk. Studenten weten welke methode hen wordt onderwezen. Docenten weten welke methode zij gebruiken. Het Hawthorne-effect kan niet verblind worden.
Het Grader-programma
In 1960, tijdens een sabbatical aan Stanford, ontmoette Hamming een van de vroegste toepassingen van computers in onderwijs: een 'grader-programma' voor programmeeropdrachten.
Het systeem werkte als volgt: de professor diende een correct oplossingsprogramma in en specificeerde de invoervariabelen, geldige invoerbereiken & acceptabele uitvoertolerantie. Wanneer een student hun programma indiende, genereerde de machine willekeurige toelaatbare invoeren, draaide beide programma's, & vergeleek de uitvoer. De student leerde onmiddellijk of hun programma correct was.
Deze geautomatiseerde feedbacklus had eigenschappen die een menselijke beoordelaar niet gemakkelijk kon bieden:
Directe feedback. De student ontving resultaten binnen seconden na indiening, wanneer het denkproces nog actief was.
Reproduceerbaarheid. Dezelfde criteria waren van toepassing op elke indiening. Geen beoordelearmoeheid, geen partijdigheid.
Geduld. Het systeem verwerkte de 100e indiening met dezelfde nauwkeurigheid als de eerste.
Schaal. Één professorprogramma gradeerde een hele klas tegelijk.
Vertakkingsprogramma's
Een eenvoudig geautomatiseerde grader voert dezelfde testreeks uit voor elke student. Een vertakkingsprogramma past de volgorde aan op basis van studentreacties.
Als een student correct antwoordt, gaat het programma naar moeilijker materiaal. Als de student moeite heeft, vertakt het programma naar herhaalmaterialen, alternatieve uitleg, of uitgewerkte voorbeelden. Het pad door het curriculum is niet vastgesteld: het hangt af van het aangetoonde begrip van de student bij elke stap.
Hamming's vraag: leidt adaptieve feedback tot beter leren dan een vaste volgorde? Het eerlijke antwoord: het Hawthorne-effect maakt dit extreem moeilijk vast te stellen. Elke studie van vertakkingsprogramma's toont winsten — maar dat doet ook elke studie van elke nieuwe onderwijsmethode, door het Hawthorne-mechanisme.
Wat maakt een leermiddel werkelijk beter?
Hamming verwierp computergestuurde onderwijs niet. Hij identificeerde echte voordelen: directe feedback, geduld & aanpassing. Maar hij was diep sceptisch over onderzoek dat nieuwe onderwijsmethoden valideerde, om Hawthorne-redenen.
Zijn impliciete maatstaf: een onderwijsmethode verdient aanvaarding wanneer het gecontroleerd onderzoek over meerdere cohorten overleeft, met langetermijnleerresultaten (niet onmiddellijke testscores), met onderzoekers die blind waren voor de hypothese, & met effectgroottes groot genoeg om het bekende omvang van het Hawthorne-effect te overschrijden.
Volgens die maatstaf voldeed bijna geen onderwijsonderzoek van zijn tijd — en waarschijnlijk weinig sinds — aan de lat.
Hij merkte ook een pervers Hawthorne-gevolg op: de optimale onderwijsstrategie zou eenvoudigweg voortdurende nieuwigheid kunnen zijn. Als elke nieuwe methode prestaties verbetert omdat studenten het zien als bewijs van zorg, dan zou het voortdurend roteren van methoden consistent verhoogde prestaties opleveren — niet omdat enige specifieke methode goed is, maar omdat verandering zelf de actieve ingredient is.