호손 공장에서 일어난 일
1920년대와 1930년대에 시카고 근처의 웨스턴 일렉트릭 호손 공장의 연구원들은 노동자 생산성에 관한 일련의 실험을 수행했습니다.
그들은 조명 수준, 근무 시간, 휴식 일정, & 물리적 조건을 변화시켰습니다. 일관된 발견: 거의 모든 변화에서 생산성이 향상되었습니다 — 객관적으로 조건을 악화시킨 변화를 포함하여.
결론: 노동자들은 구체적인 변화에 반응한 것이 아니라 경영진이 자신들에게 관심을 기울이고 있다는 인식, 자신들의 복지를 신경 쓰고 있다는 인식, & 자신들의 상황을 개선하려고 노력하고 있다는 인식에 반응했습니다.
이것이 호손 효과입니다: 사람들이 자신들이 관찰되고 있다는 것을 인식하고 & 변화가 자신들의 이익을 위해 이루어지고 있다는 것을 인식할 때, 그 구체적인 변화가 실제로 유익한지 여부와 관계없이 성능이 향상됩니다.
해밍은 이 효과를 교육 연구에 특히 파괴적이라고 보았습니다:
> 학생들에게 새로운 교육 방법을 사용하고 있다고 말하면 그들은 더 나은 성능으로 반응하고, 우연히도 교수도 그렇게 합니다. 새로운 방법이 더 나을 수도, 나쁠 수도 있고, 실제로 더 나쁠 수도 있지만, 호손 효과는... 여기에 새로운, 중요한, 개선된 교육 방법이 있다는 것을 나타낼 가능성이 높습니다.
교육 연구에 대한 함의
호손 효과는 교육 실험을 위한 근본적인 측정 문제를 만듭니다. 아무리 평범하거나 해로운 새로운 교육 방법도 — 학생과 교사가 그 변화를 배려의 증거로 인식하기 때문에 단기 이득을 생성하는 것처럼 보일 것입니다.
해밍의 결론: 대부분의 교육 실험은 진정한 학습 향상을 호손 효과 노이즈로부터 분리하는 데 실패합니다.
의학에서의 이상적인 해결책: 이중 맹검 실험. 환자도 의사도 어느 치료가 활성인지 알지 못합니다. 이것은 환자의 인식된 배려에 대한 반응과 의사 행동 변화를 모두 통제합니다.
교육에서의 문제: 이중 맹검 실험은 거의 불가능합니다. 학생들은 어느 교육 방법을 받고 있는지 알고 있습니다. 교사들은 어느 방법을 사용하고 있는지 알고 있습니다. 호손 효과는 맹검 처리될 수 없습니다.
채점 프로그램
1960년에 스탠포드 안식년 중 해밍은 교육에서 컴퓨터의 초기 사용 중 하나인 프로그래밍 과제에 대한 '채점 프로그램'을 만났습니다.
이 시스템은 다음과 같이 작동했습니다: 교수는 정확한 솔루션 프로그램을 제출하고 입력 변수, 유효한 입력 범위, & 허용 가능한 출력 허용치를 지정했습니다. 학생이 자신의 프로그램을 제출하면 기계는 무작위 허용 가능한 입력을 생성하고, 두 프로그램을 모두 실행하고, & 출력을 비교했습니다. 학생은 자신의 프로그램이 올바른지 여부를 즉시 알았습니다.
이 자동화된 피드백 루프는 인간 채점자가 쉽게 제공할 수 없는 특성을 가지고 있었습니다:
즉각적 피드백. 학생은 제출 후 몇 초 이내에 결과를 받았고, 이때 사고 과정이 여전히 활성화되어 있었습니다.
재현성. 동일한 기준이 모든 제출에 적용되었습니다. 채점자 피로 없음, 편파 없음.
인내심. 시스템은 100번째 제출을 첫 번째 제출과 동일한 엄격함으로 처리했습니다.
규모. 한 교수의 프로그램이 전체 반을 동시에 채점했습니다.
분기 프로그램
평범한 자동화된 채점 프로그램은 모든 학생에 대해 동일한 시험 순서를 실행합니다. 분기 프로그램은 학생 응답에 따라 시퀀스를 적응시킵니다.
학생이 올바르게 답변하면 프로그램은 더 어려운 자료로 진행합니다. 학생이 어려움을 겪으면 프로그램은 교정 콘텐츠, 대체 설명, 또는 풀이 예제로 분기합니다. 교과 과정을 통한 경로는 고정되지 않습니다: 각 단계에서 학생의 입증된 이해에 따라 달라집니다.
해밍의 질문: 적응형 피드백이 고정 순서보다 더 나은 학습을 생성합니까? 솔직한 답변: 호손 효과는 이를 극히 어렵게 만듭니다. 분기 프로그램에 대한 모든 연구는 이득을 보여줍니다 — 그러나 호손 메커니즘에 의해 모든 새로운 교육 방법에 대한 모든 연구도 이득을 보여줍니다.
교육 도구를 정말로 더 좋게 만드는 것은 무엇입니까?
해밍은 컴퓨터 보조 교육을 배척하지 않았습니다. 그는 실제 장점을 식별했습니다: 즉각적 피드백, 인내심, & 적응. 그러나 호손 이유 때문에 새로운 교육 방법을 검증한다고 주장하는 연구에 대해 깊이 회의적이었습니다.
그의 암시된 기준: 교육 방법은 여러 학생 그룹에 걸쳐 통제된 평가를 견딜 때 채택할 가치가 있습니다. 장기 학습 결과(즉시 시험 점수 아님), 가설에 대해 맹검 처리된 연구자들을 가진, & 호손 효과의 알려진 크기를 초과하기에 충분히 큰 효과 크기를 가진.
그 기준에 따르면, 그 시대의 거의 모든 교육 연구 — 그리고 틀림없이 그 이후의 거의 모든 연구도 — 기준을 충족하지 못했습니다.
그는 또한 역설적인 호손 함의를 지적했습니다: 최적의 교육 전략은 단순히 지속적인 참신함일 수도 있습니다. 모든 새로운 방법이 학생들이 그것을 배려의 증거로 인식하기 때문에 성능을 향상시킨다면, 방법을 지속적으로 회전시키는 것은 일관되게 높은 성능을 생성할 것입니다 — 특정 방법이 좋기 때문이 아니라 변화 자체가 활성 성분이기 때문입니다.