De centrale vraag
Hamming opende Hoofdstuk 19 met een direct citaat van de Summer Computer Simulation Conference van 1975:
> Aangezien belangrijke beslissingen op simulatie moeten berusten, is het essentieel dat de geldigheid ervan wordt getest, en dat de voorstanders de mate van authentieke representatie die zij hebben bereikt kunnen beschrijven.
Zijn formulering van dezelfde vraag, scherper:
> Waarom zou iemand geloven dat de simulatie relevant is?
Begin geen simulatie totdat je deze vraag serieus hebt overwogen. Vaak zijn er praktische druk om onmiddellijk te beginnen met rekenen — tijd, geld, organisatorisch momentum. Die druk verandert niets aan de vraag.
Hammings ervaring: wanneer hij vragen over geldigheid opwierp over simulaties, citeerden de antwoorden onvermijdelijk:
- Hoeveel mankracht in het werk ging
- Hoe groot en snel de computer
- Hoe belangrijk het probleem
Geen van die antwoorden behandelt validiteit. Het zijn sociale argumenten, geen technische.
Het ruimtevluchtsverhaal: een simulatiedirecteur beweerde 99,44% betrouwbaarheid voor lanceringen. Hamming drong aan: betrouwbaarheid van wat? Nadat hij in het nauw gedreven was, gaf de directeur toe dat zijn cijfer de betrouwbaarheid van de simulatie was, niet van de werkelijke vlucht. Hij gaf verder toe dat de NASA-directeur die de lanceringen goedkeurde het onderscheid niet begreep — en hij had dat misverstand niet rechtgezet.
De vermenging van simulatiebetrouwbaarheid met systeembetrouwbaarheid is een van de gevaarlijkste fouten in de ingenieurspraktijk.
Wat validatie werkelijk vereist
Hamming stelde een checklist samen voor het evalueren van simulatiebetrouwbaarheid. Elke vraag moet worden beantwoord voordat de simulatieoutput beslissingsgewicht krijgt:
1. Ondersteunt de achtergrondtheorie de aangenomen wetten? Natuurkundesimulaties berusten op geverifieerde vergelijkingen; economische simulaties vaak niet.
2. Zou een klein maar vitaal effect kunnen ontbreken? Het piloottrainervoorbeeld: uitstekend voor bekende natuurkunde; gevaarlijk als een nieuw vliegtuig interacties heeft die nog niet zijn opgenomen.
3. Zijn de invoergegevens betrouwbaar? Onzekerheid in inputs verspreidt zich door de berekening. Weet waar de gegevens vandaan komen.
4. Is de simulatie stabiel of instabiel? Instabiele richtingsvelden versterken invoerfouten; stabiele dempten hen.
5. Welke kruiscontroles tegen bekende eerdere ervaring zijn beschikbaar?
6. Kunnen interne controles worden geproduceerd? Behoud van massa, energie, impulsmoment, of andere invarianten. Zonder redundantie is geen foutdetectie mogelijk.
7. Worden de markeringen op papier nauwkeurig in de machine ingevoerd? Programmeerfouten blijven jarenlang in productiecode. Een geautomatiseerde kaartrelezer die reactiebeschrijvingen in differentiaalvergelijkingen vertaalde — Hammings oplossing voor de atmosferische chemiesimulatatie — vermindert transscriptiefouten zonder te vertrouwen op menselijke waakzaamheid.
Hammings Wet van Economie
Natuurkundesimulaties berusten op geverifieerde, wiskundig uitgedrukte wetten. Chemiesimulaties vereisen geverifieerde snelheidsconstanten. Biologiesimulaties vereisen bekende populatiedynamica.
Economie heeft, naar Hammings mening, één betrouwbare wet: je kunt niet consumeren wat niet wordt geproduceerd. Elke andere beweerde economische wet is ofwel een wiskundige tautologie ofwel is soms onwaar.
De implicatie voor simulatie: wanneer de achtergrondwetten niet betrouwbaar gelden, is de gehele basis van de simulatie verdacht. Hoge precisie in de berekening compenseert niet voor onbetrouwbare wetten in het model.
Hammings antwoord toen hij werd gevraagd ecologische simulaties uit te voeren: hij vroeg om wiskundig uitgedrukte regels voor elke interactie, met numerieke constanten, en om echte gegevens om testruns tegen af te stemmen. De aanvragers vonden al snel iemand die bereid was om 'zeer twijfelachtige simulaties uit te voeren die de gewenste resultaten zouden geven'.
Hammings regel: behoud je integriteit. Laat jezelf niet gebruiken voor andermans propaganda. Weiger simulaties die structureel zijn ontworpen om een conclusie te bevestigen.
Simpsons Paradox in Simulatiegegevens
Hammings Berkeley-verhaal: meer mannen dan vrouwen werden aangenomen voor postgraduaal onderwijs, wat discriminatie suggereert. Geen enkel departement toonde discriminatie. De verklaring: vrouwen solliciteerden onevenredig veel naar departementen met lage acceptatiesnelheden; mannen solliciteerden onevenredig veel naar departementen met hoge acceptatiesnelheden. De cumulatieve statistiek was reëel, en misleidend.
Dit is Simpsons Paradox: het combineren van gegevens kan schijnbare effecten creëren die niet in een subgroep voorkomen. Simulatie-outputs die over groepen, regio's of tijdsperioden aggregeren, kunnen dezelfde pathologie vertonen.
Simulaties die veranderen wat ze modelleren
Een speciale klasse van simulatiefalen: het onderwerp verandert gedrag in antwoord op het model.
Voorbeeld aandelenmarkt: als een breed bekende handelsstrategie betrouwbaar rendementen boven de markt oplevert, zullen deelnemers deze aannemen, en concurrentie zal het overrendement elimineren. Het succes van het model vernietigt de validiteit van het model.
Medisch voorbeeld: het dubbelblinde experiment bestaat omdat dokters die wisten welke patiënten behandeling ontvingen en welke placebo ontvingen, verbetering vonden waar zij het verwachtten. De kennis van de dokters verontreinigde de waarneming.
Simulatie voor hoog-inzet-beslissingen — economisch beleid, militaire planning, volksgezondheid — staat voor dit probleem wanneer de outputs van de simulatie openbaar worden gemaakt of gedrag leiden.
Bemonstering & Nauwkeurigheid
De stelling van Nyquist stelt een fundamentale beperking in op digitale simulatie van continue systemen: je hebt minstens twee monsters per periode van de hoogste frequentie in het signaal nodig.
In de praktijk, merkte Hamming op, éénzijdige bemonstering en aliasing duwen de eis naar zeven tot tien monsters per periode van de hoogste frequentie van belang.
Nauwkeurigheidsafweging: analoge computers (in Hammings era) bereikten maximaal één deel in 10.000 nauwkeurigheid per component. Digitale computers kunnen willekeurige precisie dragen. Maar digitale nauwkeurigheid vereist voldoende bemonstering — en voor signalen met scherpe hoogfrequente inhoud, bepaalt die bemonsteringssnelheid de computatiekost.
Analoog voordeel: snelheid en fysieke integratie. Je kunt een fysieke component rechtstreeks in het analoge circuit aansluiten en het gedrag meten zonder een wiskundige beschrijving ervan te vinden. Voor de vroege geleide raketontwerpen stelde dit snelle gevoel voor het systeem in staat voordat een volledig wiskundig model bestond.
De analoge machines die voor vroeg raketenwerk werden gebruikt, waren afgeleid van M9 geweerdirecteur onderdelen. Hamming bouwde een differentiaalanalysator uit dergelijke apparatuur. Oplossingstedijd: ongeveer 30 minuten per baan. Dat tempo dwong diep nadenken tussen runs — een beperking die Hamming kwam te zien als een structureel voordeel.
Gevoel versus Nauwkeurigheid: Het Mars Lander-probleem
Hamming stelde een scherpe ontwerpvraag: voor een Mars lander-vliegtuigtrainer, zou de simulator voor positionale nauwkeurigheid of voor het gevoel van het voertuig moeten optimaliseren?
Klassieke numerieke analyse optimaliseert positiebaan met behulp van lokale polynoombenaderingen. Het pad is nauwkeurig, maar de acceleratie verandert discontinu bij elk polynoominterval — een onnatuurlijk 'gevoel'.
Frequentiedomein-methoden optimaliseren de frequentierespons van de simulator. Positie kan minder nauwkeurig zijn, maar de piloot neemt de dynamische respons van het voertuig correct waar. Het spiergeheugen van de piloot vormt zich op de juiste overdrachtsfunctie.
Hammings oordeel: een piloottrainer zou voor gevoel moeten optimaliseren. Tijdens werkelijke vlucht kan de piloot positiefouten compenseren via terugkoppelingscontrole. Als het gevoel fout is, is de piloot getraind voor een voertuig dat niet bestaat.
Het diepere principe: de keuze van numerieke methode codeert een bewering over wat in de simulatie belangrijk is. Die bewering is een domeinbeoordeling, geen wiskundige.