Что произошло на заводе Хоторна
В 1920-х и 1930-х годах исследователи на заводе Hawthorne Works компании Western Electric неподалеку от Чикаго провели серию экспериментов по производительности труда рабочих.
Они варьировали уровень освещения, рабочее время, расписание перерывов и физические условия. Последовательный результат: производительность улучшалась при почти каждом изменении — включая изменения, которые объективно ухудшали условия.
Вывод: рабочие реагировали не на конкретные изменения, а на восприятие того, что руководство обращало на них внимание, заботилось об их благополучии и старалось улучшить их ситуацию.
Это эффект Хоторна: производительность улучшается, когда люди воспринимают, что их наблюдают и что изменения вносятся в их интересах, независимо от того, действительно ли конкретное изменение полезно.
Хэмминг рассматривал этот эффект как особенно разрушительный для образовательных исследований:
> Если вы скажете ученикам, что используете новый метод преподавания, они ответят улучшенной производительностью, и в то же время так же поступит профессор. Новый метод может быть, а может и не быть лучше, он даже может быть хуже, но эффект Хоторна... скорее всего, будет указывать на то, что здесь новый, важный, улучшенный метод преподавания.
Последствия для образовательных исследований
Эффект Хоторна создает фундаментальную проблему измерения для образовательных экспериментов. Любой новый метод преподавания — каким бы посредственным или вредным он ни был — будет казаться приносящим краткосрочные выигрыши просто потому, что студенты и преподаватели воспринимают изменения как свидетельство заботы.
Вывод Хэмминга: большинство образовательных экспериментов не выделяют подлинное улучшение обучения из шума эффекта Хоторна.
Идеальное средство в медицине: двойное слепое испытание. Ни пациент, ни врач не знают, какое лечение является активным. Это контролирует как реакцию пациента на воспринимаемую заботу, так и изменение поведения врача.
Проблема в образовании: двойные слепые эксперименты почти невозможны. Студенты знают, каким методом их обучают. Преподаватели знают, какой метод они используют. Эффект Хоторна нельзя избежать путем ослепления.
Программа оценки
В 1960 году во время отпуска в Стэнфорде Хэмминг встретился с одним из первых применений компьютеров в образовании: 'программой оценки' для заданий по программированию.
Система работала следующим образом: профессор представил корректную программу-решение и указал входные переменные, допустимые диапазоны входных данных и приемлемый допуск выходных данных. Когда студент представил свою программу, машина генерировала случайные допустимые входные данные, запускала обе программы и сравнивала выходные данные. Студент сразу же узнавал, была ли его программа правильной.
Этот цикл автоматической обратной связи имел свойства, которые человеческий оценивающий не мог бы легко обеспечить:
Немедленная обратная связь. Студент получал результаты в течение секунд после отправки, когда процесс мышления оставался активным.
Воспроизводимость. Одни и те же критерии применялись к каждой отправке. Никакой усталости оценивающего, никакого фаворитизма.
Терпение. Система обрабатывала 100-ю отправку с такой же строгостью, как первую.
Масштаб. Одна программа профессора оценивала целый класс одновременно.
Адаптивные программы
Обычный автоматический оценивающий запускает одну и ту же последовательность тестов для каждого студента. Адаптивная программа адаптирует последовательность на основе ответов студента.
Если студент ответит правильно, программа переходит к более сложному материалу. Если студент испытывает трудности, программа переходит к исправительному содержанию, альтернативным объяснениям или отработанным примерам. Путь через учебную программу не фиксирован: он зависит от продемонстрированного понимания студентом на каждом этапе.
Вопрос Хэмминга: производит ли адаптивная обратная связь лучшее обучение, чем фиксированная последовательность? Честный ответ: эффект Хоторна делает это чрезвычайно трудным для установления. Каждое исследование адаптивных программ показывает улучшения — но так же показывает каждое исследование любого нового метода преподавания по механизму эффекта Хоторна.
Что делает инструмент обучения действительно лучше?
Хэмминг не отклонял компьютерное обучение. Он выявил реальные преимущества: немедленная обратная связь, терпение и адаптация. Но он глубоко скептически относился к исследованиям, претендующим на то, чтобы подтвердить новые методы преподавания, по причине эффекта Хоторна.
Его подразумеваемый стандарт: метод преподавания заслуживает принятия, когда он выдерживает контролируемую оценку в нескольких когортах с долгосрочными результатами обучения (не с немедленными результатами тестов), с исследователями, которые были слепы к гипотезе, и с размерами эффекта, достаточно большими, чтобы превышать известную величину эффекта Хоторна.
По этому стандарту почти никакое образовательное исследование его эпохи — и, вероятно, мало с тех пор — не соответствовало требованиям.
Он также отметил парадоксальное следствие эффекта Хоторна: оптимальная стратегия преподавания может быть просто постоянная новизна. Если любой новый метод улучшает производительность, потому что студенты воспринимают его как свидетельство заботы, то постоянное чередование методов будет производить постоянно повышенную производительность — не потому, что какой-либо конкретный метод хорош, а потому, что само изменение является активным ингредиентом.