GIGO 가정
GIGO: '쓰레기 입력, 쓰레기 출력.' 부정확하게 결정된 숫자와 방정식을 공급하면 부정확하게 결정된 결과를 얻는다. 그 역도 암묵적으로 가정된다: 정확한 입력은 정확한 출력을 생성한다.
해밍은 두 가정 모두 거짓일 수 있음을 보였다.
쓰레기 입력, 쓰레기 출력 (참인 경우): 초기 날씨 시뮬레이션. 작은 교란이 증폭된다. 부정확한 입력은 극도로 부정확한 출력을 생성한다 — 발산하는 방향장(direction field).
쓰레기 입력, 정확한 출력 (GIGO 반전): Los Alamos 폭탄 시뮬레이션 (18장). 상태방정식 데이터는 산재된, 신뢰할 수 없는 출처에서 나왔다. 그러나 폭탄 설계는 작동했다. 왜인가?
계산 구조가 2차 차분(second differences)을 포함했기 때문이다: 껍질에 가해지는 힘은 인접한 껍질의 힘 간의 차이에 달려 있었다. 상태방정식의 국소적 오류는 껍질이 곡선을 지나가면서 대부분 상쇄되었다. 계산은 사실상 수렴하는 구조를 사용했다.
정확한 입력, 쓰레기 출력: 이론적으로 가능한 경우. 계산이 발산하는 방향장을 통해 작은 입력 불확실성을 증폭시키면 정밀한 입력도 부정확한 출력을 생성한다.
교훈: 시뮬레이션 출력의 신뢰성은 입력 정밀도만에 달려 있지 않고, 계산의 전체 구조에 달려 있다 — 구체적으로, 시스템에 진입하는 오류가 증폭되는지, 보존되는지, 아니면 억제되는지에 따라 달려 있다.
피드백이 정확성을 보호한다
해밍은 GIGO 반전을 Harold Black의 피드백 증폭기 통찰과 연결했다.
Black의 발견: 증폭기 이득이 매우 높으면 피드백 저항만 정확하면 된다. 다른 모든 구성 요소는 부정확할 수 있다. 피드백 루프가 구성 요소의 변화에 대한 출력을 안정화시킨다.
같은 원리가 피드백 구조를 가진 시뮬레이션에서 작동한다:
- Nike 미사일 유도 시스템은 궤적 편차를 자동으로 수정했다. 초기 조건의 작은 오류는 증폭되지 않고 억제되었다. 이것이 해밍이 추측한 초기 조건을 사용하여 미사일 오작동을 시뮬레이션할 수 있게 했다 — 그러나 피치-요우 에너지 전달의 올바른 주기를 복구했다.
- 원자폭탄 계산의 2차 차분 구조는 피드백처럼 작동했다: 상태방정식의 국소적 오류는 껍질의 역사에 걸쳐 평균화되었다.
설계 함축: 좋은 시뮬레이션 설계는 좋은 공학 설계처럼 부정확한 구성 요소를 피드백 루프 내에 배치하여 정확성을 보호한다. 중요한 량 — 피드백 보호 외부에 있는 것 — 은 정밀하게 측정되어야 한다.
방향장 & 튜브
1차 ODE dy/dx = f(x,y)는 방향장을 정의한다: 평면의 모든 점 (x,y)에서 기울기 f(x,y)는 해가 이동해야 하는 방향을 가리킨다.
발산하는 방향장: 참인 해 경로로부터의 작은 편차가 성장한다. 오류가 증폭된다.
수렴하는 방향장: 큰 편차가 참인 경로로 축소된다. 오류가 억제된다.
둘 다 같은 방정식에서 다른 점에서 발생할 수 있다. 해의 정확성은 어디서 평가하는지에 따라 달려 있다 — 방정식의 절대적 속성에는 달려 있지 않다.
해밍은 정확성을 참인 해 주위의 '튜브'로 시각화했다. 2D에서 튜브는 발산 지역에서 확장되고 수렴 지역에서 축소된다. n차원에서 (해군 차단 문제는 28개 방정식을 사용했다), 튜브 기하학은 직관적이지 않게 된다. 9장의 n차원 역설이 적용된다: 고차원 튜브는 2D 튜브처럼 작동하지 않는다.
오일러 방법
가장 간단한 ODE 솔버: 점 (xₙ, yₙ)에서 현재 기울기를 사용하여 다음 점을 추정한다:
> yₙ₊₁ = yₙ + h · f(xₙ, yₙ)
여기서 h는 스텝 크기다. 이는 각 점에서 접선을 따른다 — 항상 '있었던 기울기'를 사용하고, 구간에 걸친 전형적인 기울기를 사용하지 않는다. 오류가 각 단계에서 누적된다.
예측-보정 개선: 오일러를 사용하여 yₙ₊₁ 값을 예측하고, 거기서 기울기를 평가하고, 보정된 단계를 만들기 위해 구간의 양 끝에서 기울기의 평균을 취한다. 예측된 값과 보정된 값이 거의 일치하면 스텝 크기가 적절하다. 그들이 발산하면 h를 단축한다.
고차 방법 & 필터 연결
4차 다항식 예측-보정 방법 (Milne, Adams-Bashforth, 해밍의 방법)은 함수와 도함수의 여러 과거 값을 사용하여 다음 값을 예측한다.
해밍은 이 방법들을 재귀적 디지털 필터로 식별했다: 출력 값 (위치)은 입력 데이터 (과거 단계에서의 도함수)로부터 선형 재귀로 계산된다 — 정확히 디지털 필터의 구조다.
이 연결은 결과를 가진다:
- 재귀적 필터의 안정성 분석이 직접 적용된다. z-변환 안정성 기준: 필터의 전달 함수의 극(pole)은 단위원 내부에 있어야 한다.
- 스텝 크기 h가 안정성을 제어한다. 주어진 ODE에 대해, 수치 방법이 불안정해지는 h의 최대값이 있다 — 참인 해가 수렴하더라도 계산된 해가 발산한다.
경직(stiff) 방정식: 시스템이 크기가 매우 다른 고유값을 가질 때 (빠르게 변하는 성분 하나, 느린 성분 하나), 안정성은 빠른 성분에 대해 충분히 작은 스텝 크기를 요구한다. 경직 솔버는 불안정성 없이 더 큰 단계를 허용하기 위해 암시적 방법을 사용한다.
주파수 vs 위치 트레이드오프: 고전적 다항식 방법은 국소적 위치 정확성에 최적화된다 — 궤적은 각 단계에서 참인 경로에 가깝지만, 동적 '느낌' (주파수 응답)은 잘못될 수 있다. 비행 시뮬레이터에 대해, 주파수 응답을 올바르게 얻는 것이 위치를 올바르게 얻는 것보다 중요할 수 있다.
모래 언덕의 능선 위에서 걷기
해밍은 트랜지스터 설계를 위한 미분방정식과 무한대의 경계 조건을 받았다 — 경계 조건은 방정식의 우변을 0으로 설정하는 것이었다.
안정성 분석은 놀라웠다: y가 어느 지점에서 약간 너무 크면 sinh(y)가 증폭되고, 2차 도함수가 강하게 양수가 되고, 해가 +∞로 사라진다. y가 약간 너무 작으면 -∞로 사라진다. 그리고 불안정성은 양방향이었다 — 반대 방향으로 적분하는 것도 도움이 되지 않았다.
해밍의 이미지: '모래 언덕의 능선 위에서 걷기.' 양쪽 발이 한쪽으로 한 번 미끄러지면 피할 수 없게 미끄러진다.
그의 해: 불안정성을 유도 신호로 이용한다. 그는 미분 분석기에서 궤적의 일부를 적분했다. 해가 위쪽으로 사라지면 그 세그먼트 시작에서 기울기 추정치가 약간 너무 높다 — 아래로 수정한다. 아래로 사라지면 위로 수정한다. 한 조각씩 그는 모래 언덕의 능선을 걸었다.
이것을 가능하게 한 것: 불안정성이 빠르게 성장했다. 시작 기울기의 작은 오류가 큰, 명확한 편차를 생성했다 — 어느 방향으로 수정할지에 대한 명확한 신호. 약간 불안정한 문제는 그러한 명확한 신호를 제공하지 않았을 것이다.
전문가의 의무: '문제를 풀 수 없다고, 잘못 제시되었다고, 또는 자신에게 말하고 싶은 다른 어떤 변명이든 무시하는 것이 너무 쉬웠을 것이다. 하지만 나는 여전히 중요한 문제가 올바르게 제시되면 유용한 지식을 추출하는 데 사용될 수 있다고 믿는다.'
로르샤흐 테스트 & 무작위성
Bell Labs 심리학자가 기계를 만들었다: 12개 스위치, 빨간 불, 녹색 불. 피실험자들은 스위치를 설정하고 버튼을 누르고 결과를 관찰했으며, 20번 시도 후 녹색 불을 켜는 방법에 대한 이론을 썼다. 그들의 이론은 다음 피실험자에게 넘겨졌고 사이클이 반복되었다.
불들은 무작위 출처에 연결되어 있었다. 패턴이 없었다.
모든 시도에서 한 명의 Bell Labs 과학자도 — 모두 높은 수준의 기술 직원 — 패턴이 없다고 말하지 않았다. 그들 모두 이론을 찾았다.
해밍의 관찰: 한 명도 통계학자나 정보 이론가가 아니었다. 이 두 분야는 실행자에게 다음을 묻도록 훈련시킨다: '내가 보는 것이 정말 있는가, 아니면 단순한 무작위 잡음인가?'
시뮬레이션에 대한 함축: 관찰된 데이터와 일치할 때까지 조정할 수 있는 시뮬레이션은 로르샤흐 테스트다. 조정 과정은 데이터와 일치하는 모델을 찾지만 반드시 참인 모델은 아니다. 신호를 잡음과 구별하려면 의도적인 통계 규율이 필요하다 — 홀드아웃 데이터, 사전 지정된 가설, 신뢰 구간 — 좋은 의도만 아니라.
해밍의 마지막 당부: '만약...이라면이 당신의 미래에 자주 나타날 것이므로, 당신은 시뮬레이션의 개념과 가능성을 마스터할 필요가 있고, 결과를 의심하고 필요할 때 세부 사항을 파고들 준비가 되어 있어야 한다.'