측정이 목표가 될 때

굿하트가 이름 붙이기 전의 해밍의 공식: 측정을 목표로 사용할 때, 그것은 유효한 측정이기를 멈춘다. 목표 지정의 행위는 지표를 부패시킨다.

메커니즘: 목표 지정 전에, 지표는 기본 값과 상관관계를 가진다. 목표 지정 후에, 합리적 행위자는 지표를 직접 최적화한다. 상관관계가 끊어진다. 지표를 개선하는 가장 쉬운 방법은 종종 기본 값으로부터 그것을 분리하는 것이기 때문이다.

해밍의 사례:

- 베트남의 시체 수: 군사 진전의 측정으로 사용되었다. 군인들은 검증할 수 없는 물체를 세어서 시체 수를 최적화했다. 지표는 올랐다. 군사 진전은 그렇지 않았다.

- GNP 성장: 경제적 복지의 측정으로 사용되었다. GNP 성장은 음수 값을 가진 것을 생산함으로써 달성될 수 있다(오염 정화, 군사 증강, 감옥 건설). 지표는 복지로부터 분리되었다.

- 시험 점수: 학습의 측정으로 사용된다. 학교는 시험을 위해 가르친다. 점수는 올른다. 기본 주제에 대한 이해는 그렇지 않을 수 있다.

해밍의 해결책: (1) 사람들이 완전히 최적화하기 전에 지표를 정기적으로 변경하라; (2) 동시에 여러 지표를 사용하라 — 모두를 한 번에 최적화하는 것은 더 어렵다; (3) 중요한 결정을 위해 단일 지표에 절대 의존하지 마라.

부패 메커니즘을 식별하라

소프트웨어 조직은 개발자 생산성을 주당 작성된 코드 라인 수(LOC)로 측정한다. 초기에, LOC는 생산성과 상관관계를 가진다 — 활동적인 개발자는 비활동적인 개발자보다 더 많은 코드를 작성한다.

동적 범위 문제

해밍은 미묘한 측정 문제를 제기한다: 등급 척도는 동적 범위를 가지고, 대부분의 사람들은 그것을 사용하지 않는다.

예: 1-10 척도, 여기서 5는 평균. 대부분의 평가자는 4, 5, 6을 사용하고, 1이나 9로 모험을 떠나지 않는다. 그들의 평가의 동적 범위는 효과적으로 3(4에서 6)이다. 비록 척도는 10을 제공한다.

결과: 전체 범위를 사용하는 평가자는 중간으로 압축하는 사람보다 평균화된 평가에 3배의 영향을 미친다. 싫어하는 것을 2로 평가(전체 범위)하고 다른 평가자가 좋아하는 것을 6으로 주는 동안(압축 범위), 평균은 4다 — 당신의 싫음은 둘 다 등급 척도의 설계에서 동등한 목소리를 가졌음에도 불구하고 그들의 좋음을 능가한다.

해밍의 정보 이론 연결: 분포의 엔트로피(평균 놀라움)는 분포가 균등할 때 최대화된다. 모든 등급이 동등하게 사용되는 등급 척도는 최대 정보를 전달한다. 대부분의 평가가 5에 집중하는 척도는 거의 통신하지 않는다 — 평가는 거의 정보를 전달하지 않는다.

그의 실용적 조언: 할당된 모든 척도의 전체 동적 범위를 사용하라. 1에서 10까지의 척도가 주어지면, 그것을 1에서 6까지로 취급하지 마라. 그렇게 하면 당신의 영향과 평가의 정보 내용을 줄인다.

정보와 동적 범위

두 교수는 0-100 척도로 성적을 준다. 교수 A는 70-90 범위(20포인트로 압축)만 사용한다. 교수 B는 전체 범위 0-100(100포인트 사용)을 사용한다. 각 교수의 성적 분포가 그들이 사용하는 범위 내에서 균등하다고 가정하라.