Що сталося на заводі Готорну
У 1920-х і 1930-х роках дослідники на заводі Hawthorne Works компанії Western Electric поблизу Чикаго провели низку експериментів щодо продуктивності робітників.
Вони змінювали рівні освітлення, робочі години, графіки перерв & фізичні умови. Послідовний результат: продуктивність покращилася майже при кожній зміні — включаючи зміни, які об'єктивно погіршили умови.
Висновок: робітники реагували не на конкретні зміни, а на сприйняття того, що керівництво звертало на них увагу, турбувалося про їхнє благополуччя & намагалося покращити їхню ситуацію.
Це ефект Готорну: продуктивність покращується, коли люди сприймають, що за ними спостерігають & що зміни вводяться для їхньої користі, незалежно від того, чи є конкретна зміна насправді корисною.
Хеммінг розглядав цей ефект як особливо руйнівний для освітніх досліджень:
> Якщо ви скажете студентам, що використовуєте новий метод викладання, то вони реагують поліпшеним виконанням, і так само, до речі, реагує професор. Новий метод може бути, а може й не бути кращим, більше того, він може бути гіршим, але ефект Готорну... імовірно, указує на те, що це новий, важливий, поліпшений метод викладання.
Наслідки для освітніх досліджень
Ефект Готорну створює фундаментальну проблему вимірювання для освітніх експериментів. Будь-який новий метод викладання — як би він не був посередній чи шкідливий — буде виглядати таким, що дає короткострокові набутки просто тому, що студенти й учителі сприймають зміну як доказ турботи.
Висновок Хеммінга: більшість освітніх експериментів не можуть виділити справжнє поліпшення навчання з шуму ефекту Готорну.
Ідеальний засіб у медицині: подвійно-сліпий експеримент. Ні пацієнт, ні лікар не знають, яке лікування є активним. Це контролює як реакцію пацієнта на сприйняту турботу, так і зміну поведінки лікаря.
Проблема в освіті: подвійно-сліпі експерименти майже неможливі. Студенти знають, яким методом їх навчають. Учителі знають, який метод вони використовують. Ефект Готорну не можна замаскувати.
Програма для оцінювання
У 1960 році, під час сабатичного року в Стенфорді, Хеммінг зустрівся з одним з найранніших використань комп'ютерів в освіті: 'програмою для оцінювання' для завдань програмування.
Система працювала так: професор подавав програму з правильним рішенням і вказував змінні на вході, допустимі діапазони вводу & прийнятну допуск виходу. Коли студент подавав свою програму, машина генерувала випадкові допустимі вводи, запускала обидві програми & порівнювала результати. Студент одразу дізнавався, чи правильна його програма.
Цей автоматизований цикл зворотного зв'язку мав властивості, які людський оцінювач не міг легко забезпечити:
Миттєвий зворотний зв'язок. Студент отримав результати в межах секунд після подачі, коли процес мислення залишався активним.
Відтворюваність. Одні й ті самі критерії застосовувались до кожної подачі. Жодної втоми оцінювача, жодного фаворитизму.
Терпіння. Система обробляла 100-ту подачу з такою ж ретельністю, як першу.
Масштаб. Одна програма професора оцінила весь клас одночасно.
Розгалужені програми
Простий автоматизований оцінювач запускає одну й ту саму послідовність тестів для кожного студента. Розгалужена програма адаптує послідовність на основі відповідей студента.
Якщо студент відповідає правильно, програма переходить до складнішого матеріалу. Якщо студент мучиться, програма розгалужується на матеріал для виправлення, альтернативні пояснення або розроблені приклади. Шлях через навчальну програму не є фіксованим: це залежить від продемонстрованого розуміння студента на кожному кроці.
Питання Хеммінга: чи дає адаптивний зворотний зв'язок краще навчання, ніж фіксована послідовність? Чесна відповідь: ефект Готорну робить це надзвичайно важко встановити. Кожне дослідження розгалужених програм показує прибутки — але так само кожне дослідження будь-якого нового методу викладання, за механізмом ефекту Готорну.
Що робить інструмент викладання справді кращим?
Хеммінг не відхилив комп'ютерне допоміжне навчання. Він визначив реальні переваги: миттєвий зворотний зв'язок, терпіння & адаптація. Але він був глибоко скептичним щодо досліджень, які претендують на підтвердження нових методів викладання, з причини ефекту Готорну.
Його імпліцитний стандарт: метод викладання заслуговує прийняття, коли він вижива контрольовану оцінку на кількох когортах, з довгостроковими результатами навчання (не миттєвими тестовими оцінками), з дослідниками, які були сліпі до гіпотези, & з розмірами ефектів, досить великими, щоб перевищити відому величину ефекту Готорну.
За цим стандартом майже жодне освітнє дослідження його епохи — і, мабуть, мало з тих пір — не відповідало цьому критерію.
Він також зазначив перверсну імплікацію ефекту Готорну: оптимальна стратегія викладання може бути просто постійною новизною. Якщо будь-який новий метод поліпшує продуктивність, тому що студенти сприймають це як доказ турботи, то постійна ротація методів створить послідовно підвищену продуктивність — не тому, що будь-який конкретний метод хороший, а тому, що сама зміна є активним компонентом.