Den centrala frågan
Hamming öppnade kapitel 19 med ett direkt citat från Summer Computer Simulation Conference 1975:
> Eftersom viktiga beslut måste förlita sig på simulering, är det väsentligt att dess giltighet prövas, och att dess förespråkare kan beskriva den autentiska representationsnivå som de uppnådde.
Hans formulering av samma fråga, vassare:
> Varför bör någon tro på att simulationen är relevant?
Börja inte en simulering förrän du allvarligt har funderat på denna fråga. Det finns ofta praktiska tryck för att börja räkna omedelbar — tid, pengar, organisatorisk momentum. Dessa tryck ändrar inte frågan.
Hammings erfarenhet: när han ställde giltighetsfrågorna om simuleringar, hänvisade svaren invariabelt till:
- Hur mycket arbetskraft som gick åt till arbetet
- Hur stor och snabb datorn var
- Hur viktigt problemet var
Inget av dessa svar behandlar giltighet. De är sociala argument, inte tekniska.
Rymdflyghistorien: en simuleringsdirektör hävdade 99,44% tillförlitlighet för lanseringar. Hamming pressade: tillförlitlighet av vad? Efter att ha pressats in i ett hörn, medgav direktören att hans siffra var tillförlitligheten av simulationen, inte den faktiska flygningen. Han medgav vidare att NASA-direktören som godkände lanseringar inte förstod skillnaden — och han hade inte korrigerat det missförståndet.
Sammanblandningen av simuleringstillförlitlighet med systemtillförlitlighet är ett av de farligaste felen i ingenjörspraktiken.
Vad validering faktiskt kräver
Hamming samlade en checklista för att bedöma simuleringstillförlitlighet. Varje fråga måste besvaras innan simuleringsutgången förtjänar att påverka beslut:
1. Stöder bakgrundsteorin de antagna lagarna? Fyssiksimulering vilar på verifierade ekvationer; ekonomiska simuleringar gör ofta inte det.
2. Kunde en liten men väsentlig effekt saknas? Flygplanskluvstränarexemplet: utmärkt för känd fysik; farligt om ett nytt flygplan har interaktioner som ännu inte inkorporerats.
3. Är inmatningsdatan pålitlig? Osäkerhet i indata fortplantas genom beräkning. Veta var datan kom från.
4. Är simulationen stabil eller instabil? Instabila riktningsfält förstärker inmatningsfel; stabila dämpar dem.
5. Vilka tvärjämförelser mot känd tidigare erfarenhet finns tillgängliga?
6. Kan interna kontroller produceras? Bevaring av massa, energi, rörelsemängd, eller andra invarianter. Utan redundans, ingen feldetektering är möjlig.
7. Kommer märkningarna på papperet in i maskinen korrekt? Programmeringsfel kvarstår i många år i produktionskod. En automatiserad kortläsare som översatte reaktionsbeskrivningar till differentialekvationer — Hammings lösning för atmosfäriska kemisimuleringen — minskar transkriptionsfel utan att förlita sig på mänsklig vaksamhet.
Hammings ekonomiska lag
Fyssiksimulering vilar på verifierade, matematiskt uttryckta lagar. Kemisimulering kräver verifierade hastighetskonstanter. Biologisimulering kräver känd populationsdynamik.
Ekonomi har, enligt Hammings mening, en pålitlig lag: du kan inte konsumera vad som inte producerats. Varje annan påstådd ekonomisk lag är antingen en matematisk tautologi eller är ibland falsk.
Implikationen för simulering: när bakgrundslagar inte är pålitliga, är hela grundvalen för simulationen misstänkt. Hög precision i beräkningen kompenserar inte för opålitliga lagar i modellen.
Hammings svar när han ombads att köra ekologiska simuleringar: han frågade efter matematiskt uttryckta regler för varje interaktion, med numeriska konstanter, och efter verklig data för att jämföra testköp mot. Återfrågarna fann snart någon som var mer villig att köra 'mycket tveksamma simuleringar som skulle ge de resultat de ville ha.'
Hammings regel: behåll din integritet. Låt inte dig användas för andra människors propaganda. Vägra simuleringar som är strukturellt designade för att bekräfta en slutsats.
Simpsons paradox i simuleringsdata
Hammings Berkeley-historien: fler män än kvinnor accepterades till forskarutbildning, vilket föreslog diskriminering. Ingen enskild institution visade diskriminering. Förklaringen: kvinnor sökte oproportionerligt till institutioner med låga acceptansgrader; män sökte oproportionerligt till institutioner med höga acceptansgrader. Den aggregerade statistiken var verklig och vilseledande.
Detta är Simpsons paradox: att kombinera data kan skapa uppenbara effekter som inte är närvarande i någon undergrupp. Simuleringsutgångar som aggregeras över grupper, regioner eller tidsperioder kan uppvisa samma sjukdom.
Simuleringar som förändrar det de modellerar
En speciell klass av simuleringfel: subjektet ändrar beteende som svar på modellen.
Exempel från aktiemarknaden: om en allmänt känd handelsstrategiförlitligt producerar avkastning över marknaden, kommer deltagare att anta den, och konkurrens kommer att eliminera överavkastningen. Modellens framgång förstör modellens giltighet.
Medicinskt exempel: det dubbelblinda experimentet existerar därför att läkare som visste vilka patienter som fick behandling och vilka som fick placebo fann förbättring där de förväntade det. Läkarnas kunskap kontaminerade observationen.
Simulering för höginsatta beslut — ekonomisk politik, militär planering, folkhälsa — möter detta problem närhelst simuleringsutgångarna görs offentliga eller styr beteende.
Sampling & noggrannhet
Nyquist-satsen sätter en grundläggande begränsning för digital simulering av kontinuerliga system: du behöver minst två samplingar per period av den högsta frekvensen som finns i signalen.
I praktiken, noterade Hamming, ensidig sampling och aliasing skjuter kravet till sju till tio samplingar per period av den högsta frekvensen av intresse.
Noggrannhetsavvägning: analoga datorer (i Hammings era) uppnådde högst en del på 10 000 noggrannhet per komponent. Digitala datorer kan bära godtycklig precision. Men digital noggrannhet kräver adekvat sampling — och för signaler med skarpt högfrekvent innehål, driver denna samplingsfrekvens beräkningskostnad.
Analog fördel: hastighet och fysisk integration. Du kan koppla in en fysisk komponent direkt i den analoga kretsen och mäta dess beteende utan att behöva hitta en matematisk beskrivning av den. För de tidiga designerna av styrd missil tillät detta snabb känsla för systemet innan en fullständig matematisk modell fanns.
De analoga maskinerna som användes för tidigt missiltöd härrörde från M9-kanonledardel. Hamming byggde en differentialanalysator från sådan utrustning. Lösningstid: cirka 30 minuter per bana. Den takten tvingade djupt tänkande mellan körningar — en begränsning Hamming kom att se som en strukturell fördel.
Känsla vs noggrannhet: Mars Lander-problemet
Hamming ställde en skarp designfråga: för en Mars Lander-flygträner, bör simulatorn optimera för positionsnoggrannhet eller för känslan av fordonet?
Klassisk numerisk analys optimerar positionsbana med hjälp av lokala polynomapproximationer. Vägen är korrekt, men accelerationsförändringarna sker diskontinuerligt vid varje polynomintervallgräns — en onaturlig 'känsla'.
Frekvensdomenmetoder optimerar frekvenssvar för simulatorn. Positionen kan vara mindre korrekt, men piloten upplever fordonets dynamiska svar korrekt. Pilotens muskelminne bildas på rätt överföringsfunktion.
Hammings bedömning: en pilotträner bör optimera för känsla. Under faktisk flygning kan piloten kompensera för positionsfel via återkopplad kontroll. Om känslan är fel, har piloten tränats för ett fordon som inte existerar.
Den djupare principen: valet av numerisk metod kodar ett påstående om vad som är viktigt i simulationen. Detta påstående är en domänbedömning, inte en matematisk.