통계학자의 여행 가방
해밍은 제27장을 한 이야기로 시작합니다. Bell Labs의 통계학자 친구는 연구의 측정이 부정확하다고 의심했습니다. 그는 부서장과 의견을 다투었는데, 부서장은 재측정을 거절했습니다 — '그 기계들에는 정확도를 나타내는 황동 표지가 있고, 우리 직원들은 신뢰할 수 있습니다.'
월요일에 통계학자는 기차에서 여행 가방을 잃어버렸다고 말하며 나타났고 모든 데이터를 잃어버렸습니다. 재측정할 수밖에 없었습니다. 새로운 측정값이 도착했을 때, 통계학자는 원래 기록을 제시했습니다 — 얼마나 부정확했는지 보여주면서. 이 행동으로 인해 인기가 없었지만, 부정확성은 이제 명백해졌습니다.
해밍은 또 다른 사건에서 더 가혹한 교훈을 얻습니다: 통화를 배치한 동일한 중앙 교환국 장비에 의해 기록된 전화 통화 패턴에 관한 연구입니다. 어느 날 통계학자는 존재하지 않는 중앙 교환국으로 청구된 통화를 발견했습니다. 더 조사하니, 상당한 비율의 통화가 — 몇 분 동안 — 존재하지 않는 교환국에 연결되고 있었습니다. 기계가 자신의 작동에 대해 나쁜 데이터를 생성하고 있었습니다. 기계가 자신에 대한 데이터를 올바르게 수집하도록 신뢰할 수 없습니다.
그의 세 번째 예: Los Angeles 대기 오염 부서에 있는 그의 형으로, 제조업체의 주장에 관계없이 받은 모든 새로운 기기를 분해, 재조립 및 재교정할 필요가 있음을 발견했습니다.
해밍의 규칙: 처리하기 전에 항상 데이터를 신중하게 검토하세요. 그래프로 나타내세요. 있으면 안 되는 패턴을 찾으세요. 불일치를 확인하세요. 답이 아무리 급해도 먼저 데이터를 사전 테스트하세요.
데이터 사전 테스트
해밍의 재고 연구: 그는 약 100개 항목에 대한 18개월의 재고 기록을 받았고, 공급자가 불일치가 제거되었다는 보장을 순진하게 믿었습니다. 프로젝트 후기에 그는 남아있는 불일치를 발견했습니다 — 오류 없이 발생할 수 없는 항목들 (예: 빈 재고에서의 출고).
그는 이렇게 결론지었습니다: '먼저 찾아야 했고, 그 다음 제거했으며, 그 다음 데이터를 처음부터 다시 실행했습니다. 그 경험으로부터 나는 먼저 신중하게 오류를 검토할 때까지 어떤 데이터도 처리하지 않는다는 것을 배웠습니다.'
두 가지 종류의 오류
모든 물리적 측정에는 두 가지 유형의 오류가 포함됩니다:
무작위 오류: 참값 주위의 예측 불가능한 변동. 참값을 중심으로 분포(종종 대략 가우시안)를 따릅니다. 무작위 오류는 평균화로 상쇄됩니다: 충분한 측정을 하면 평균이 참값에 가까워집니다.
체계적 오류(편향): 한 방향으로의 일관된 편차. 모든 측정값이 같은 양만큼 이동합니다. 평균화로는 이를 제거할 수 없습니다. 많은 편향된 측정값의 평균은 여전히 편향되어 있기 때문입니다.
해밍의 물리 예제: 10개의 기본 상수(빛의 속도, Avogadro 수, 전자의 전하 등)의 표를 컴파일했고, 24년 후 개선된 기기로 재컴파일했습니다. 평균적으로 새로운 값은 이전 오류 범위의 5.267배 밖에 떨어졌습니다. 이것은 무작위 오류만으로는 그럴듯하지 않습니다 — 이렇게 큰 무작위 오류는 감지 가능했을 것입니다. 설명: 구식 기기에는 명시된 불확실성에 포함되지 않은 체계적 오류가 있었고, 기술 자체가 커뮤니티를 통해 전달된 공통된 결함을 가지고 있었습니다.
Shannon의 발언: '교정이 측정에서 가장 중요한 것입니다.' 교정은 체계적 오류를 다룹니다. 기기가 일관되게 3% 너무 높게 읽으면, 반복 측정이 이를 수정할 수 없습니다 — 재교정해야 합니다.
체계적 오류 식별
Hubble 상수: 은하의 적색편이-거리 관계에서 측정한 우주 팽창률. 여러 독립적인 그룹이 지난 50년 동안 이를 측정했습니다. 역사적으로 게시된 많은 값이 다른 게시된 값의 오류 범위 밖에 떨어졌습니다 — 불일치가 명시된 불확실성이 예측한 것보다 크다는 의미입니다.
테스트할 수 없는 것을 어떻게 테스트합니까?
해밍은 깨끗한 해결책이 없지만 모든 실무 엔지니어가 결국 직면하는 문제를 제시합니다: 테스트 자체가 당신이 가진 시간보다 오래 걸리고 테스트 장비가 테스트 중인 장치보다 덜 신뢰할 수 있을 때, 기기의 신뢰성을 어떻게 테스트합니까?
시나리오: 장치는 현장에서 20년(175,000시간) 동안 지속되어야 합니다. 수명 테스트 실험실은 10,000시간의 작동 시간으로 평가됩니다. 테스트 기간 예산은 3개월(약 2,000시간)입니다. 장치는 현장에서 최대 85°C의 작동 온도에 노출될 것으로 예상됩니다.
가속 테스트: 105°C에서 장치를 실행하고 85°C에서보다 실패가 10배 더 빠르게 발생한다고 가정합니다(흔한 엔지니어링 경험 법칙). 그러면 105°C에서 2,000시간이 85°C에서 20,000시간을 '나타냅니다'. 정말 그럴까요?
문제: 105°C에서의 고장 모드가 85°C에서의 고장 모드와 다를 수 있습니다. 솔더 조인트가 85°C에서는 열 피로로 실패하지만 105°C에서는 산화로 실패하면, 가속 테스트는 현장 수명에 대해 유용한 정보를 제공하지 않습니다.
Shannon의 조언이 적용됩니다: 교정 — 측정이 실제로 무엇을 측정하는지 이해 — 이 중요한 단계입니다. 가속 테스트는 고장 모드가 동일한 경우에만 온도를 고장률에 대해 교정합니다. 이를 검증하려면 별도의 연구가 필요합니다.
수명 테스트 설계
당신은 인체에 이식되는 의료 장치의 신뢰성 엔지니어입니다. 10년(87,600시간) 동안 지속되어야 합니다. 실험실 예산은 6개월의 테스트(4,380시간)를 허용합니다. 장치는 체온(37°C)에서 작동합니다.