Die GIGO-Annahme
GIGO: »Müll rein, Müll raus.« Wenn man schlecht bestimmte Zahlen & Gleichungen eingibt, bekommt man schlecht bestimmte Ergebnisse. Die Umkehrung wird stillschweigend angenommen: genaue Eingaben erzeugen genaue Ausgaben.
Hamming zeigte, dass beide Annahmen falsch sein können.
Müll rein, Müll raus (wahrer Fall): die frühe Wettersimulation. Kleine Störungen verstärken sich. Ungenaue Eingaben erzeugen wild ungenaue Ausgaben — ein divergentes Richtungsfeld.
Müll rein, genaue Ausgabe (GIGO umgekehrt): die Los-Alamos-Bomben-Simulation (Kapitel 18). Die Zustandsgleichungs-Daten stammten aus verstreuten, unzuverlässigen Quellen. Doch das Bombendesign funktionierte. Warum?
Weil die Berechnungsstruktur zweite Differenzen beteiligte: die Kraft auf einer Schale hing von der Differenz zwischen Kräften benachbarter Schalen ab. Lokale Fehler in der Zustandsgleichung hoben sich großteils auf, wenn Schalen die Kurve durchliefen. Die Berechnung nutzte eine effektiv konvergente Struktur.
Genaue Eingabe, Müll raus: ein theoretisch möglicher Fall. Wenn eine Berechnung kleine Eingabe-Unsicherheiten durch ein divergentes Richtungsfeld verstärkt, erzeugen präzise Eingaben trotzdem ungenaue Ausgaben.
Die Lektion: die Zuverlässigkeit der Simulations-Ausgabe hängt nicht nur von der Eingabe-Präzision ab, sondern von der ganzen Struktur der Berechnung — speziell davon, ob Fehler, die in das System eindringen, verstärkt, bewahrt oder gedämpft werden.
Rückkopplung schützt Genauigkeit
Hamming verband GIGO-Umkehrung mit Harold Blacks Rückkopplungs-Verstärker-Einsicht.
Blacks Entdeckung: wenn die Verstärker-Verstärkung sehr hoch ist, muss nur der Rückkopplungswiderstand genau sein. Alle anderen Komponenten können ungenau sein. Die Rückkopplungsschleife stabilisiert die Ausgabe gegen Variationen in Komponenten.
Das gleiche Prinzip gilt in Simulationen mit Rückkopplungsstruktur:
- Das Nike-Flugkörper-Leitsystem korrigierte Flugbahn-Abweichungen automatisch. Kleine Fehler in Anfangsbedingungen wurden gedämpft, nicht verstärkt. Dies ermöglichte Hamming, die Flugkörper-Fehlgeschichte mit geratenen Anfangsbedingungen zu simulieren — & dennoch die korrekte Periode der Nicken-Gieren-Energieübertragung zu erlangen.
- Die Atombomben-Berechnung mit zweiten Differenzen wirkte wie Rückkopplung: lokale Zustandsgleichungs-Fehler mitterten sich über die Geschichte einer Schale aus.
Die Gestaltungs-Implikation: gutes Simulations-Design, wie gutes Ingenieur-Design, schützt Genauigkeit durch Platzierung unggenauer Komponenten innerhalb von Rückkopplungsschleifen. Vitale Größen — die außerhalb von Rückkopplungsschutz liegen — müssen genau gemessen werden.
Richtungsfelder & die Röhre
Eine Differential-Gleichung erster Ordnung dy/dx = f(x,y) definiert ein Richtungsfeld: an jedem Punkt (x,y) in der Ebene zeigt die Steigung f(x,y) in die Richtung, in die sich die Lösung bewegen muss.
Ein divergierendes Richtungsfeld: kleine Abweichungen von einem wahren Lösungspfad wachsen. Fehler verstärken sich.
Ein konvergierendes Richtungsfeld: große Abweichungen schrumpfen zurück zum wahren Pfad. Fehler werden gedämpft.
Beide können in der gleichen Gleichung an verschiedenen Punkten auftreten. Die Lösungs-Genauigkeit hängt davon ab, wo du evaluierst — nicht von irgendeiner absoluten Eigenschaft der Gleichung.
Hamming stellte sich Genauigkeit als eine »Röhre« um die wahre Lösung vor. In 2D erweitert sich die Röhre in divergierenden Regionen & zieht sich in konvergierenden zusammen. In n Dimensionen (das Marine-Abfang-Problem verwendete 28 Gleichungen) wird die Röhren-Geometrie nicht-intuitiv. Das n-dimensionale Paradoxon aus Kapitel 9 gilt: hochdimensionale Röhren verhalten sich nichts wie 2D-Röhren.
Eulers Methode
Der einfachste ODE-Löser: von Punkt (xₙ, yₙ), schätze den nächsten Punkt unter Verwendung der aktuellen Steigung:
> yₙ₊₁ = yₙ + h · f(xₙ, yₙ)
wobei h die Schrittweite ist. Dies folgt der Tangentenlinie an jedem Punkt — immer unter Verwendung »der Steigung, die war«, nicht einer typischen Steigung über das Intervall. Fehler sammeln sich bei jedem Schritt an.
Prädiktor-Korrektor-Verbesserung: sage einen Wert yₙ₊₁ unter Nutzung von Euler voraus, evaluiere die Steigung dort, & nimm dann den Durchschnitt der Steigungen an beiden Intervallenden, um einen korrigierten Schritt zu machen. Wenn die vorgesagte & korrigierte Werte eng übereinstimmen, ist die Schrittweite angemessen. Wenn sie divergieren, verkürze h.
Höherwertige Methoden & die Filter-Verbindung
Vierter-Grad-Prädiktor-Korrektor-Methoden (Milne, Adams-Bashforth, Hemmings Methode) nutzen mehrere frühere Werte der Funktion & Ableitung, um den nächsten Wert vorherzusagen.
Hamming identifizierte diese Methoden als rekursive digitale Filter: die Ausgabe-Werte (Positionen) werden aus Eingabe-Daten (Ableitungen bei früheren Schritten) durch eine lineare Rekurrenz berechnet — genau die Struktur eines digitalen Filters.
Diese Verbindung hat Konsequenzen:
- Stabilitäts-Analyse für rekursive Filter gilt direkt. Das z-Transform-Stabilitäts-Kriterium: Pole der Transferfunktion des Filters müssen innerhalb des Einheitskreises liegen.
- Die Schrittweite h kontrolliert Stabilität. Für eine gegebene ODE gibt es eine maximale h, jenseits derer die numerische Methode instabil wird — die berechnete Lösung divergiert selbst wenn die wahre Lösung konvergiert.
Steife Gleichungen: wenn ein System Eigenwerte mit sehr verschiedenen Größenordnungen hat (eine schnell veränderliche Komponente, eine langsame), erfordert Stabilität eine Schrittweite, die klein genug für die schnelle Komponente ist, selbst wenn die langsame Komponente große Schritte tolerieren könnte. Steife Löser nutzen implizite Methoden, um größere Schritte ohne Instabilität zuzulassen.
Der Frequenz-vs-Position-Tradeoff: klassische Polynom-Methoden optimieren lokale Positions-Genauigkeit — die Flugbahn ist bei jedem Schritt nah am wahren Pfad, aber die dynamische »Ausstrahlung« (Frequenz-Antwort) kann falsch sein. Für einen Flug-Simulator kann das Richtig-Setzen der Frequenz-Antwort wichtiger sein als das Richtig-Setzen der Position.
Gehen auf dem Kamm der Sanddüne
Hamming erhielt eine Differential-Gleichung für Transistor-Design mit einer Randbedingung im Unendlichen — die Randbedingung ist die Gleichungs-rechte Seite auf Null gesetzt.
Die Stabilitäts-Analyse war beängstigend: wenn y an irgendeinem Punkt etwas zu groß wurde, sinh(y) verstärkte, die zweite Ableitung wurde stark positiv, & die Lösung schoss zu +∞. Wenn y etwas zu klein wurde, schoss es zu -∞. & die Instabilität war bidirektional — Integration in die entgegengesetzte Richtung half auch nicht.
Hemmings Bild: »auf dem Kamm einer Sanddüne gehen.« Sobald beide Füße zu einer Seite rutschen, rutschst du unvermeidlich hinab.
Seine Lösung: Nutze die Instabilität als Führungs-Signal. Er integrierte ein Segment der Flugbahn auf dem Differential-Analyzer. Wenn die Lösung nach oben schoss, war er zu hoch in seiner Steigung-Schätzung am Anfang des Segments — korrigiere nach unten. Wenn sie nach unten schoss, korrigiere nach oben. Stück für Stück ging er auf dem Kamm der Düne.
Was dies möglich machte: die Instabilität wuchs schnell. Ein kleiner Fehler in der Anfangs-Steigung erzeugte eine große, eindeutige Abweichung — ein klares Signal darüber, welche Richtung korrigiert werden sollte. Ein mild instabiles Problem hätte kein solch klares Signal geliefert.
Die berufliche Verpflichtung: »Es wäre so einfach gewesen, das Problem als unlösbar, falsch gestellt, oder einen anderen Grund zu verwerfen, den du dir selbst erzählen wolltest, aber ich glaube immer noch, dass wichtige Probleme, die richtig gestellt sind, genutzt werden können, um nützliches Wissen zu extrahieren.«
Der Rorschach-Test & Zufälligkeit
Ein Bell-Labs-Psychologe baute eine Maschine: 12 Schalter, ein rotes Licht, ein grünes Licht. Probanden stellten die Schalter ein, drückten einen Knopf, beobachteten das Ergebnis, & schrieben nach 20 Versuchen eine Theorie auf, wie man das grüne Licht zum Leuchten bringt. Ihre Theorie wurde dem nächsten Probanden gegeben, & der Zyklus wiederholte sich.
Die Lichter waren mit einer Zufalls-Quelle verbunden. Es gab kein Muster.
In allen Versuchen sagte nicht ein Bell-Labs-Wissenschaftler — alle hochqualifiziert — je: es gibt kein Muster. Sie alle fanden Theorien.
Hemmings Beobachtung: keiner war Statistiker oder Informations-Theoretiker. Diese zwei Bereiche trainieren Praktiker zu fragen: »Ist das, was ich sehe, wirklich da, oder ist es nur zufälliges Rauschen?«
Die Implikation für Simulation: eine Simulation, die angepasst werden kann, bis sie beobachtete Daten passt, ist ein Rorschach-Test. Der Anpassungs-Prozess findet ein Modell, das zu den Daten passt, aber nicht notwendigerweise das wahre Modell. Das Unterscheiden von Signal & Rauschen erfordert bewusste statistische Disziplin — Holdout-Daten, vorspezifizierte Hypothesen, Konfidenz-Intervalle — nicht nur gute Absichten.
Hemmings abschließende Aufgabe: »Das Was-wenn...? wird oft in deiner Zukunft auftreten, daher die Notwendigkeit für dich, die Konzepte & Möglichkeiten von Simulationen zu meistern, & bereit zu sein, die Ergebnisse zu hinterfragen & in die Details zu graben, wenn nötig.«