핵심 질문
해밍은 1975년 Summer Computer Simulation Conference의 직접 인용으로 19장을 열었습니다:
> 중요한 의사결정이 시뮬레이션에 의존해야 하므로, 그 타당성을 검증하고 옹호자들이 달성한 진정한 표현의 수준을 설명할 수 있는 것이 필수적입니다.
같은 질문에 대한 그의 공식, 더욱 날카롭게:
> 누가 시뮬레이션이 관련성이 있다고 믿어야 할까?
이 질문에 대해 진지하게 생각하기 전까지는 시뮬레이션을 시작하지 마십시오. 종종 즉시 계산을 시작하라는 실질적 압력이 있습니다 — 시간, 비용, 조직의 추진력. 그러한 압력은 질문을 바꾸지 않습니다.
해밍의 경험: 시뮬레이션에 대한 타당성 질문을 제기했을 때, 답변은 항상 다음을 언급했습니다:
- 작업에 투입된 인력이 얼마나 되는가
- 컴퓨터가 얼마나 크고 빠른가
- 문제가 얼마나 중요한가
그러한 답변 중 어느 것도 타당성을 다루지 않습니다. 그것들은 기술적 주장이 아니라 사회적 주장입니다.
우주비행 이야기: 시뮬레이션 감독은 발사의 99.44% 신뢰성을 주장했습니다. 해밍이 추궁했습니다: 무엇의 신뢰성입니까? 궁지에 몰린 후, 감독은 자신의 수치가 실제 비행이 아니라 시뮬레이션의 신뢰성임을 인정했습니다. 그는 발사를 승인한 NASA 감독이 그 차이를 이해하지 못했으며, 그가 그 오해를 바로잡지 않았음을 더욱 인정했습니다.
시뮬레이션 신뢰성과 시스템 신뢰성의 혼동은 엔지니어링 실무의 가장 위험한 오류 중 하나입니다.
타당성 검증이 실제로 요구하는 것
해밍은 시뮬레이션 신뢰성을 평가하기 위한 체크리스트를 작성했습니다. 시뮬레이션 출력이 의사결정 가중치를 얻기 전에 각 질문에 답해야 합니다:
1. 배경 이론이 가정된 법칙을 뒷받침하는가? 물리학 시뮬레이션은 검증된 방정식에 기반합니다; 경제 시뮬레이션은 종종 그렇지 않습니다.
2. 작지만 중요한 효과가 빠져 있을 수 있는가? 파일럿 트레이너 예시: 알려진 물리학에는 우수합니다; 새로운 항공기가 아직 통합되지 않은 상호작용을 가지고 있다면 위험합니다.
3. 입력 데이터가 신뢰할 수 있는가? 입력의 불확실성은 계산 전체에 전파됩니다. 데이터의 출처를 알아야 합니다.
4. 시뮬레이션이 안정적인가 불안정한가? 불안정한 방향 필드는 입력 오류를 증폭하고; 안정적인 것은 감쇠합니다.
5. 알려진 과거 경험과의 교차 검증은 무엇인가?
6. 내부 검증을 할 수 있는가? 질량, 에너지, 각운동량의 보존, 또는 다른 불변량. 중복성 없이는 오류 감지가 불가능합니다.
7. 종이의 표시가 기계에 정확하게 입력되는가? 프로그래밍 오류는 프로덕션 코드에서 수년 동안 지속됩니다. 반응 설명을 미분 방정식으로 번역하는 자동화된 카드 리더 — 해밍의 대기 화학 시뮬레이션 솔루션 — 인간의 경각심에 의존하지 않고 필사 오류를 줄입니다.
해밍의 경제학 법칙
물리학 시뮬레이션은 검증된, 수학적으로 표현된 법칙에 기반합니다. 화학 시뮬레이션은 검증된 속도 상수를 필요로 합니다. 생물학 시뮬레이션은 알려진 개체군 역학을 필요로 합니다.
경제학은 해밍의 관점에서 한 가지 신뢰할 수 있는 법칙을 가집니다: 생산되지 않은 것을 소비할 수 없습니다. 주장된 다른 모든 경제 법칙은 수학적 동어반복이거나 때때로 거짓입니다.
시뮬레이션에 대한 함의: 배경 법칙이 신뢰할 수 있게 유지되지 않으면, 시뮬레이션의 전체 기초가 의심스럽습니다. 계산의 높은 정밀도는 모델의 신뢰할 수 없는 법칙을 보상하지 않습니다.
생태 시뮬레이션을 실행하도록 요청받았을 때 해밍의 대응: 그는 모든 상호작용에 대해 수학적으로 표현된 규칙, 수치 상수, & 테스트 실행과 비교할 실제 데이터를 요청했습니다. 요청자들은 곧 '그들이 원하는 결과를 제공할 의문의 여지가 있는 시뮬레이션'을 실행하려는 더 기꺼이 도와줄 사람을 찾았습니다.
해밍의 규칙: 당신의 무결성을 유지하십시오. 다른 사람들의 선전을 위해 자신을 사용하도록 하지 마십시오. 결론을 확인하도록 구조적으로 설계된 시뮬레이션을 거부하십시오.
시뮬레이션 데이터의 심슨 역설
해밍의 Berkeley 이야기: 더 많은 남성보다 여성이 대학원에 입학했으며, 이는 차별을 시사합니다. 개별 학과는 차별을 보이지 않았습니다. 설명: 여성은 낮은 입학률을 가진 학과에 불균형적으로 지원했습니다; 남성은 높은 입학률을 가진 학과에 불균형적으로 지원했습니다. 합계 통계는 실제이며 오도하는 것입니다.
이것이 심슨 역설입니다: 데이터를 결합하면 어떤 부분군에도 없는 명백한 효과가 생성될 수 있습니다. 그룹, 영역 또는 시간 기간에 걸쳐 집계되는 시뮬레이션 출력도 동일한 병리를 나타낼 수 있습니다.
모델에 응답하여 동작을 변경하는 시뮬레이션
특수한 시뮬레이션 실패 클래스: 주제가 모델에 대응하여 동작을 변경합니다.
주식 시장 예시: 널리 알려진 거래 전략이 시장 이상의 수익을 안정적으로 생성하면, 참여자들이 이를 채택할 것이고, 경쟁은 초과 수익을 제거할 것입니다. 모델의 성공은 모델의 타당성을 파괴합니다.
의료 예시: 이중맹검 실험이 존재하는 이유는 치료를 받은 환자 와 위약을 받은 환자가 누구인지 알고 있던 의사들이 예상한 곳에서 개선을 발견했기 때문입니다. 의사의 지식이 관찰을 오염시켰습니다.
고위험 결정을 위한 시뮬레이션 — 경제 정책, 군사 계획, 공중 보건 — 시뮬레이션의 출력이 공개되거나 행동을 안내할 때마다 이 문제에 직면합니다.
샘플링 & 정확성
나이퀴스트 정리는 연속 시스템의 디지털 시뮬레이션에 기본적인 제약을 설정합니다: 신호에 존재하는 가장 높은 주파수의 기간당 최소 2개의 샘플이 필요합니다.
실제로, 해밍은 주목했습니다, 단측면 샘플링과 에일리어싱은 요구사항을 관심 있는 가장 높은 주파수의 기간당 7개에서 10개의 샘플로 밀어냅니다.
정확성 트레이드오프: 아날로그 컴퓨터(해밍의 시대)는 구성 요소당 최대 1만 분의 1의 정확도를 달성했습니다. 디지털 컴퓨터는 임의의 정밀도를 전달할 수 있습니다. 하지만 디지털 정확도는 적절한 샘플링이 필요합니다 — & 날카로운 고주파 콘텐츠를 가진 신호의 경우, 그 샘플링 속도는 계산 비용을 구동합니다.
아날로그 이점: 속도와 물리적 통합. 물리 구성 요소를 아날로그 회로에 직접 연결하고 그 동작을 수학 설명을 찾지 않고 측정할 수 있습니다. 초기 유도 미사일 설계의 경우, 이것은 전체 수학 모델이 존재하기 전에 시스템의 빠른 느낌을 허용했습니다.
초기 미사일 작업에 사용된 아날로그 머신은 M9 총 감시자 부품에서 파생되었습니다. 해밍은 그러한 장비에서 미분 분석기를 구축했습니다. 솔루션 시간: 궤적당 약 30분. 그 속도는 실행 사이에 깊은 생각을 강제했습니다 — 해밍은 구조적 이점으로 간주하게 된 제약입니다.
느낌 대 정확성: 화성 착륙선 문제
해밍은 날카로운 설계 질문을 제기했습니다: 화성 착륙선 비행 트레이너의 경우, 시뮬레이터가 위치 정확도 또는 차량의 느낌을 최적화해야 할까요?
고전적인 수치 분석은 국소 다항식 근사를 사용하여 위치 궤적을 최적화합니다. 경로는 정확하지만, 가속도는 각 다항식 간격에서 불연속적으로 변합니다 — 부자연스러운 '느낌'.
주파수 영역 방법은 시뮬레이터의 주파수 응답을 최적화합니다. 위치는 덜 정확할 수 있지만, 조종사는 차량의 동적 응답을 올바르게 인지합니다. 조종사의 근육 기억은 올바른 전달 함수에 형성됩니다.
해밍의 판단: 파일럿 트레이너는 느낌을 최적화해야 합니다. 실제 비행 중에 조종사는 피드백 제어를 통해 위치 오류를 보상할 수 있습니다. 느낌이 잘못되면, 조종사는 존재하지 않는 차량에 대해 훈련받았습니다.
더 깊은 원칙: 수치 방법의 선택은 시뮬레이션이 무엇을 위한 것인지에 대한 암묵적 주장을 암호화합니다. 그 주장은 수학적인 것이 아니라 도메인 판단입니다.