Cosa significa realmente adattare un modello
Un modello di simulazione afferma una pretesa matematica: gli output del sistema reale si trovano su (o vicino a) una superficie specifica M nello spazio delle osservazioni.
Il sistema reale produce osservazioni y₁, y₂, ..., yₙ. Il modello predice valori ŷ₁, ŷ₂, ..., ŷₙ.
Residui come distanze: rᵢ = yᵢ - ŷᵢ. Ogni residuo misura la distanza tra un'osservazione e la sua previsione di modello corrispondente. In uno spazio di osservazioni a n dimensioni, i residui formano un vettore r = y - ŷ.
Adattamento a minori quadrati: scegliere i parametri del modello per minimizzare ||r||² = Σrᵢ². Geometricamente, trovare il punto ŷ sulla superficie del modello più vicino all'osservazione vettore y in distanza euclidea.
Quando i residui ingannano
Un ||r||² piccolo non garantisce un modello valido. Due modalità di fallimento sistematico:
1. Bias sistematico: i residui rᵢ sono piccoli ma tutti positivi (o tutti negativi). Il modello sottopredice o soprappredice costantemente. Geometricamente: ŷ si trova su una superficie di spostamento parallelo al vero manufatto dei dati - vicino in distanza, ma con struttura sbagliata.
2. Manifonte sbagliato: i residui sono piccoli perché il modello ha abbastanza parametri liberi per adattarsi esattamente ai dati di addestramento (sovrappredizione). La superficie del modello passa attraverso i punti dati, ma si incurva selvaggiamente tra di essi. Le previsioni su nuovi dati sono cattive.
Dettetione del bias sistematico
Un modello con residui di media zero può ancora avere un bias sistematico che varia con una variabile di input.
Esempio: una simulazione meteorologica che sottostima la temperatura di 2°C in estate e soprastima di 2°C in inverno ha un residuo medio ≈ 0 su tutto l'anno, ma un chiaro bias stagionale.
Diagnostics dei residui: disegnare rᵢ contro ogni variabile di input. Un pattern piatto (nessuna tendenza) suggerisce l'assenza di bias sistematico da quella variabile. Un pattern di tendenza rivela una dimensione mancante nel modello.
La domanda di validazione di Hamming - 'Potrebbe mancare un effetto vitale piccolo?' - si traduce geometricamente: il vettore residuo ha un componente in una direzione non spannata dello spazio parametri del modello?
Sfalsamento Sistematico vs Rumore Casuale
L'effetto Hawthorne: i soggetti in uno studio cambiano il loro comportamento perché sanno di essere osservati, non a causa del trattamento sperimentale.
Interpretazione Geometrica
Considera il vero manufatto dati M che vive in uno spazio spazializzato dalle variabili (x₁, x₂, ..., xₖ, contesto_osservazione).
Il modello ignora il contesto_osservazione. Adatta una superficie alle osservazioni in (x₁, ..., xₖ) sole.
Quando il contesto_osservazione è 'sottoposto a studio', i punti dati reali si spostano lungo l'asse del contesto_osservazione. La superficie del modello - fissata nello spazio (x₁, ..., xₖ) - ora si adatta a dati spostati. I residui sembrano piccoli (la superficie si adatta bene all'interno del contesto dello studio), ma le previsioni nel contesto non osservato sono sistematicamente sbagliate.
La geometria: la superficie del modello è vicina al manufatto dati contesto-studio, ma lontana dal manufatto realtà. La distanza tra loro: lo sfalsamento Hawthorne lungo l'asse del contesto_osservazione.
La richiesta di doppia incoscienza di Hamming: prevenire la correlazione tra contesto_osservazione e trattamento. Questo mantiene il manufatto realtà e il manufatto contesto-studio coincidenti - elimina lo sfalsamento geometrico.
Altri Effetti di Dimensioni Nascoste
Qualsiasi variabile che influisce sul sistema ma è esclusa dal modello crea la stessa struttura geometrica:
- Effetti stagionali omessi da modelli economici
- Comportamento degli operatori escluso da simulazioni di produzione
- Stato della versione del software assente da modelli di prestazioni
Il modello adatta una superficie di dimensioni inferiori ai dati che vivono su una varietà a dimensioni superiori. I residui saranno piccoli nelle direzioni misurate dal modello, grandi nelle direzioni non misurate.
Validazione come Allineamento Geometrico
La checklist di validazione di Hamming, riformulata come geometria:
Sostiene il background theory le leggi assunte? Fanno gli assi del spazio dei parametri del modello spaziare sulla vera varietà dei dati? Se le variabili chiave sono mancanti (dimensioni escluse), la superficie del modello non può essere allineata con la realtà.
Sono disponibili controlli interni? Le leggi di conservazione sono vincoli geometrici: i dati devono trovarsi su una specifica sottovarietà definita dalla conservazione della massa, della energia, ecc. Se la simulazione viola questi, la sua traiettoria ha lasciato la sottovarietà valida.
Crociate contro le esperienze passate note: la superficie del modello deve passare attraverso punti di validazione storici - non solo adattarsi ai dati di formazione, ma generalizzare a osservazioni fuori dal campione.
La simulazione è stabile? Una simulazione stabile si mantiene vicino alla vera varietà di soluzioni nonostante piccole perturbazioni. Una simulazione instabile lascia il quartiere della varietà di manifolds e non può essere chiamata un valido modello.
Quando la Predizione Diventa Proiezione
Hamming ha sostenuto il metodo dei scenari per i domini in cui la previsione è impossibile: invece di affermare 'il sistema farà X', presentare un insieme di possibili traiettorie sotto differenti ipotesi.
Interpretazione Geometrica
La superficie del modello M(θ) dipende dai parametri θ (ipotesi sulle leggi, costanti, condizioni al contorno). Diverse insiemi di ipotesi θ₁, θ₂, ..., θₖ definiscono diverse superfici M(θ₁), ..., M(θₖ).
Lo scenari envelope è l'unione di queste superfici: la regione dello spazio degli output che potrebbe produrre qualsiasi modello di scenario.
Una singola previsione afferma: il vero risultato si trova vicino a M(θ) per l'insieme stimato θ. Il metodo dei scenari afferma: il vero risultato si trova da qualche parte all'interno dell'enveloppe.
Quando l'Enveloppe È Utile
Se l'enveloppe è stretta - tutti i scenari concordano sull'output nonostante ipotesi diverse - la confidenza nella previsione è alta. Se l'enveloppe è ampia - diverse ipotesi producono output molto diversi - il modello è molto sensibile alle ipotesi. Quella sensibilità è l'output, non un modo di fallimento.
La pretesa di Hamming sulle sue stesse previsioni: stava dando scenari, non previsioni puntuali. Il futuro che descriveva era 'ciò che è probabile accadere, secondo la mia opinione', non una previsione precisa.
Sovrapposizione con la Realtà
Un modello di scenario è validato quando la realtà cade all'interno dell'enveloppe. Questo è un test più debole della previsione punti ma è più onesto su ciò che il modello può affermare.
Mettere insieme: Modelli Validi e la loro Geometria
La geometria di una simulazione valida si riduce a tre allineamenti:
1. Lo spazio dei parametri copre la vera manifolds: le dimensioni del modello includono tutte le variabili che guidano il sistema. Gli intervalli nascosti producono offset sistematici.
2. La stabilità mantiene il percorso vicino alla vera manifolds: un campo di direzione convergente significa che gli errori si riducono. Un campo divergente significa che la simulazione lascia la regione valida.
3. I residui sono piccoli E non strutturati: residui casuali, senza correlazioni, suggeriscono che il modello cattura la vera manifolds. Residui strutturati (tendenze, pattern) segnalano una dimensione mancante.
Hamming's 'Perché qualcuno dovrebbe credere alla simulazione?' si traduce geometricamente: quanto è vicina la superficie del modello alla maniglia della realtà, in quante dimensioni, con quanto stabilità, validato su quanti punti fuori campione?