Co się stało w fabryce Hawthorne
W latach 20. i 30. XX wieku naukowcy z fabryki Western Electric's Hawthorne Works koło Chicago przeprowadzili serię eksperymentów na temat produktywności pracowników.
Zmieniały natężenie oświetlenia, godziny pracy, harmonogramy przerw & warunki fizyczne. Konsekwentne odkrycie: produktywność wzrosła niemal przy każdej zmianie — w tym przy zmianach, które empirycznie pogorszyły warunki.
Wniosek: pracownicy reagowali nie na konkretne zmiany, ale na postrzeganie, że kierownictwo zwraca na nich uwagę, dba o ich dobrostan & stara się poprawić ich sytuację.
To jest efekt Hawthorne'a: wydajność rośnie, gdy ludzie postrzegają, że się ich obserwuje & że zmiany wprowadzane są dla ich dobra, niezależnie od tego, czy konkretna zmiana jest faktycznie korzystna.
Hamming widział ten efekt jako szczególnie katastrofalny dla badań edukacyjnych:
> Jeśli powiesz uczniom, że używasz nowej metody nauczania to reagują lepszą wydajnością, i okazjonalnie profesor też. Nowa metoda może, ale nie musi być lepsza, rzeczywiście może być gorsza, ale efekt Hawthorne'a... prawdopodobnie wskaże, że oto nowa, ważna, ulepszona metoda nauczania.
Implikacje dla badań edukacyjnych
Efekt Hawthorne'a tworzy fundamentalny problem pomiaru w eksperymentach edukacyjnych. Każda nowa metoda nauczania — bez względu na to, jak poślednia lub szkodliwa — będzie wyglądać na producującą krótkoterminowe zyski, po prostu dlatego, że uczniowie i nauczyciele postrzegają zmianę jako dowód opieki.
Wniosek Hamminga: większość eksperymentów edukacyjnych nie izoluje rzeczywistej poprawy w nauce od szumu efektu Hawthorne'a.
Idealny środek zaradczy w medycynie: eksperyment podwójnie ślepy. Ani pacjent, ani lekarz nie wie, która terapia jest aktywna. To kontroluje zarówno odpowiedź pacjenta na postrzeganą opiekę, jak i zmianę zachowania lekarza.
Problem w edukacji: eksperymenty podwójnie ślepe są prawie niemożliwe. Uczniowie wiedzą, którą metodę są nauczani. Nauczyciele wiedzą, którą metodę stosują. Efekt Hawthorne'a nie może być zaślepiony.
Program oceniający
W 1960 roku, podczas urlopu naukowego na Stanford, Hamming napotkał jedno z najwcześniejszych zastosowań komputerów w edukacji: 'program oceniający' dla zadań programistycznych.
System działał w następujący sposób: profesor przedłożył poprawny program rozwiązania i określił zmienne wejściowe, prawidłowe zakresy wejściowe & akceptowalną tolerancję wyjścia. Gdy uczeń przedłożył swój program, maszyna wygenerowała losowe dopuszczalne dane wejściowe, uruchomiła oba programy & porównała wyniki. Uczeń natychmiast dowiedział się, czy jego program był poprawny.
Ta pętla sprzężenia zwrotnego miała właściwości, które oceniający człowiek nie mógł łatwo zapewnić:
Natychmiastowe sprzężenie zwrotne. Uczeń otrzymał wyniki w ciągu sekund od przedłożenia, gdy proces myślowy pozostał aktywny.
Powtarzalność. Te same kryteria stosowały się do każdego przedłożenia. Brak zmęczenia oceniającego, brak faworytyzmu.
Cierpliwość. System przetwarzał setne przedłożenie z takim samym rygorem co pierwsze.
Skala. Jeden program profesora ocenił całą klasę jednocześnie.
Programy rozgałęzione
Zwykły zautomatyzowany oceniający uruchamia tę samą sekwencję testów dla każdego ucznia. Program rozgałęziony dostosowuje sekwencję na podstawie odpowiedzi ucznia.
Jeśli uczeń odpowiada prawidłowo, program przechodzi do trudniejszego materiału. Jeśli uczeń się zmaga, program rozgałęzia się do materiału naprawczego, alternatywnych wyjaśnień lub pracowanych przykładów. Ścieżka przez program nauczania nie jest stała: zależy od wykazanego zrozumienia ucznia na każdym etapie.
Pytanie Hamminga: czy adaptacyjne sprzężenie zwrotne daje lepszą naukę niż sekwencja stała? Szczera odpowiedź: efekt Hawthorne'a czyni to niezwykle trudnym do ustalenia. Każde badanie programów rozgałęzionych pokazuje zyski — ale tak samo każde badanie każdej nowej metody nauczania, poprzez mechanizm Hawthorne'a.
Co sprawia, że narzędzie nauczające jest naprawdę lepsze?
Hamming nie odrzucił nauczania wspomaganego komputerowo. Wyznaczył rzeczywiste korzyści: natychmiastowe sprzężenie zwrotne, cierpliwość & adaptacja. Ale był głęboko skeptyczny wobec badań twierdzących, że weryfikują nowe metody nauczania, z powodu Hawthorne'a.
Jego domniemany standard: metoda nauczania zasługuje na przyjęcie, gdy przeżyje kontrolowaną ocenę w wielu kohortach, z długoterminowymi wynikami uczenia się (nie natychmiastowe wyniki testów), z badaczami, którzy byli nieświadomi hipotezy, & z wielkościami efektów wystarczająco duże, aby przekroczyć znaną wielkość efektu Hawthorne'a.
Według tego standardu prawie żaden eksperyment edukacyjny jego epoki — i prawdopodobnie niewiele od tamtej pory — spełnił to wymaganie.
Zanotował również przewrotną implikację Hawthorne'a: optymalna strategia nauczania może być po prostu wieczną nowością. Jeśli każda nowa metoda poprawia wydajność, ponieważ uczniowie postrzegają ją jako dowód opieki, to stałe obracanie metodami dałoby konsekwentnie podwyższoną wydajność — nie dlatego, że jakakolwiek konkretna metoda jest dobra, ale dlatego że sama zmiana jest aktywnym składnikiem.