La domanda centrale
Hamming aprì il Capitolo 19 con una citazione diretta dalla Conferenza Estiva di Simulazione Computerizzata del 1975:
> Poiché le decisioni importanti devono affidarsi alla simulazione, è essenziale che la sua validità sia testata, e che i suoi sostenitori siano in grado di descrivere il livello di rappresentazione autentica che hanno raggiunto.
La sua formulazione della stessa domanda, più acuta:
> Perché dovrebbe qualcuno credere che la simulazione sia rilevante?
Non iniziare una simulazione finché non hai riflettuto seriamente su questa domanda. Spesso ci sono pressioni pratiche per iniziare i calcoli immediatamente — tempo, denaro, slancio organizzativo. Queste pressioni non cambiano la domanda.
L'esperienza di Hamming: quando ha sollevato questioni di validità sulle simulazioni, le risposte citavano invariabilmente:
- Quanta manodopera è stata investita nel lavoro
- Quanto era grande e veloce il computer
- Quanto era importante il problema
Nessuna di queste risposte affronta la validità. Sono argomenti sociali, non tecnici.
La storia del volo spaziale: un direttore di simulazione affermò il 99,44% di affidabilità per i lanci. Hamming premette: affidabilità di cosa? Dopo essere stato messo alle strette, il direttore ammise che la sua cifra era l'affidabilità della simulazione, non del volo effettivo. Ammise inoltre che il direttore della NASA che approvò i lanci non comprendeva la distinzione — e non aveva corretto quel malinteso.
La confusione tra l'affidabilità della simulazione e l'affidabilità del sistema è uno degli errori più pericolosi nella pratica ingegneristica.
Cosa richiede effettivamente la validazione
Hamming ha assemblato una lista di controllo per valutare l'affidabilità della simulazione. Ogni domanda deve essere risolta prima che l'output della simulazione acquisisce peso decisionale:
1. La teoria di base supporta le leggi assunte? Le simulazioni fisiche si basano su equazioni verificate; le simulazioni economiche spesso no.
2. Potrebbe mancare un effetto piccolo ma vitale? L'esempio dell'allenatore pilota: eccellente per la fisica conosciuta; pericoloso se un nuovo aereo ha interazioni non ancora incorporate.
3. I dati di input sono affidabili? L'incertezza negli input si propaga attraverso il calcolo. Sapere da dove provengono i dati.
4. La simulazione è stabile o instabile? I campi di direzione instabili amplificano gli errori di input; quelli stabili li smorzano.
5. Quali verifiche incrociate rispetto all'esperienza passata nota sono disponibili?
6. Si possono produrre verifiche interne? Conservazione di massa, energia, momento angolare, o altri invarianti. Senza ridondanza, nessuna rilevazione d'errore è possibile.
7. I segni sulla carta entrano accuratamente nella macchina? Gli errori di programmazione persistono per anni nel codice di produzione. Un lettore di schede automatico che traduceva descrizioni di reazioni in equazioni differenziali — la soluzione di Hamming per la simulazione della chimica atmosferica — riduce gli errori di trascrizione senza affidarsi alla vigilanza umana.
La legge economica di Hamming
Le simulazioni fisiche si basano su leggi verificate, espresse matematicamente. Le simulazioni chimiche richiedono costanti di velocità verificate. Le simulazioni biologiche richiedono una dinamica della popolazione nota.
L'economia ha, nella visione di Hamming, una legge affidabile: non puoi consumare ciò che non è stato prodotto. Ogni altra legge economica affermata è o una tautologia matematica o è talvolta falsa.
L'implicazione per la simulazione: quando le leggi di base non si mantengono in modo affidabile, l'intera fondazione della simulazione è sospetta. L'alta precisione nel calcolo non compensa le leggi inaffidabili nel modello.
La risposta di Hamming quando gli è stato chiesto di eseguire simulazioni ecologiche: ha chiesto regole espresse matematicamente per ogni interazione, con costanti numeriche, e dati reali per confrontare le corse di test. I richiedenti presto trovarono qualcuno più disposto a eseguire 'simulazioni molto discutibili che avrebbero dato i risultati che volevano.'
La regola di Hamming: mantieni la tua integrità. Non permettere di farti usare per la propaganda di altre persone. Rifiuta simulazioni strutturalmente progettate per confermare una conclusione.
Il paradosso di Simpson nei dati di simulazione
La storia di Hamming a Berkeley: più uomini che donne sono stati ammessi alla scuola di specializzazione, suggerendo discriminazione. Nessun dipartimento individuale ha mostrato discriminazione. La spiegazione: le donne hanno candidato in modo sproporzionato ai dipartimenti con bassi tassi di accettazione; gli uomini hanno candidato in modo sproporzionato ai dipartimenti con alti tassi di accettazione. La statistica aggregata era reale, e fuorviante.
Questo è il paradosso di Simpson: combinare i dati può creare effetti apparenti non presenti in nessun sottogruppo. Gli output di simulazione che aggregano i dati su gruppi, regioni, o periodi di tempo possono mostrare la stessa patologia.
Simulazioni che cambiano ciò che modellano
Una classe speciale di fallimento della simulazione: il soggetto altera il comportamento in risposta al modello.
Esempio del mercato azionario: se una strategia di trading ampiamente nota produce in modo affidabile rendimenti superiori al mercato, i partecipanti l'adotteranno, e la concorrenza eliminerà il rendimento in eccesso. Il successo del modello distrugge la validità del modello.
Esempio medico: l'esperimento in doppio cieco esiste perché i medici che sapevano quali pazienti hanno ricevuto il trattamento e quali hanno ricevuto il placebo hanno trovato miglioramenti dove se lo aspettavano. La conoscenza dei medici ha contaminato l'osservazione.
La simulazione per decisioni ad alto rischio — politica economica, pianificazione militare, salute pubblica — affronta questo problema ogni volta che gli output della simulazione sono resi pubblici o guidano il comportamento.
Campionamento e accuratezza
Il teorema di Nyquist impone un vincolo fondamentale sulla simulazione digitale di sistemi continui: hai bisogno di almeno due campioni per periodo della frequenza più alta presente nel segnale.
In pratica, ha notato Hamming, il campionamento a un solo lato e l'aliasing spingono il requisito a sette-dieci campioni per periodo della frequenza più alta di interesse.
Compromesso di accuratezza: i computer analogici (nell'era di Hamming) ottenevano al massimo una parte su 10.000 di accuratezza per componente. I computer digitali possono portare una precisione arbitraria. Ma l'accuratezza digitale richiede un campionamento adeguato — e per segnali con contenuto ad alta frequenza nitido, quel tasso di campionamento guida il costo di calcolo.
Vantaggio analogico: velocità e integrazione fisica. Puoi collegare un componente fisico direttamente al circuito analogico e misurare il suo comportamento senza trovare una descrizione matematica. Per i primi progetti di missili guidati, questo ha permesso una comprensione rapida del sistema prima che esistesse un modello matematico completo.
Le macchine analogiche utilizzate per i primi lavori di missili derivavano da parti del direttore di armi M9. Hamming ha costruito un analizzatore differenziale da tali apparecchiature. Tempo di soluzione: circa 30 minuti per traiettoria. Quel ritmo ha forzato il pensiero profondo tra le esecuzioni — un vincolo che Hamming ha finito per considerare come un vantaggio strutturale.
Sensibilità vs Accuratezza: il problema del lander di Marte
Hamming ha posto una domanda di progettazione acuta: per un allenatore di volo del lander di Marte, il simulatore dovrebbe ottimizzare l'accuratezza di posizione o la sensibilità del veicolo?
L'analisi numerica classica ottimizza la traiettoria di posizione utilizzando approssimazioni polinomiali locali. Il percorso è accurato, ma l'accelerazione cambia in modo discontinuo ad ogni intervallo polinomiale — una sensibilità innaturale.
I metodi nel dominio della frequenza ottimizzano la risposta in frequenza del simulatore. La posizione potrebbe essere meno accurata, ma il pilota percepisce correttamente la risposta dinamica del veicolo. La memoria muscolare del pilota si forma sulla giusta funzione di trasferimento.
Il giudizio di Hamming: un allenatore di pilota dovrebbe ottimizzare la sensibilità. Durante il volo effettivo, il pilota può compensare gli errori di posizione tramite il controllo di retroazione. Se la sensibilità è sbagliata, il pilota è stato allenato per un veicolo che non esiste.
Il principio più profondo: la scelta del metodo numerico codifica un'affermazione su ciò che conta nella simulazione. Questa affermazione è un giudizio di dominio, non uno matematico.