Ce que signifie vraiment l'ajustement d'un modèle
Un modèle de simulation fait une revendication mathématique : les sorties du système réel se trouvent (ou près de) sur une surface spécifique M dans l'espace des observations.
Laissez le système réel produire des observations y₁, y₂, ..., yₙ. Le modèle prévoit des valeurs ŷ₁, ŷ₂, ..., ŷₙ.
Résidus en tant que distances : rᵢ = yᵢ - ŷᵢ. Chaque résidu mesure la distance entre une observation et sa prévision correspondante de modèle. Dans l'espace de observations à n dimensions, les résidus forment un vecteur r = y - ŷ.
Ajustement aux moindres carrés : choisissez les paramètres du modèle pour minimiser ||r||² = Σrᵢ². Géométriquement, trouvez le point ŷ sur la surface du modèle le plus proche de la vectorisation des observations y dans la distance euclidienne.
Lorsque les résidus trompent
Un petit ||r||² n'assure pas un modèle valide. Deux modes d'échec systématiques :
1. Biais systématique : les résidus rᵢ sont petits mais tous positifs (ou tous négatifs). Le modèle sous-ou surestime de manière constante. Géométriquement : ŷ se trouve sur une surface d'offset parallèle à la véritable surface de données - proche en distance, mais avec une structure erronée.
2. Surface erronée : les résidus sont petits parce que le modèle a assez de paramètres libres pour ajuster les données d'entraînement exactement (surajustement). La surface du modèle serpente entre les points de données, mais se courbe entre eux. Les prévisions sur de nouvelles données sont mauvaises.
Détection du biais systématique
Un modèle avec une moyenne de résidus nul ne peut pas avoir un biais systématique qui varie avec une variable d'entrée.
Exemple : une simulation météorologique qui sous-estime la température de 2 °C en été et surestime de 2 °C en hiver a une moyenne de résidus approximativement nul sur une année complète, mais un biais saisonnier clair.
Diagnostic des résidus : tracez rᵢ contre chaque variable d'entrée. Un motif plat (aucune tendance) suggère l'absence de biais systématique provenant de cette variable. Un motif de tendance révèle une dimension manquante dans le modèle.
Question de validation de Hamming — 'Un petit effet vital pourrait manquer?' — se traduit géométriquement : la vector résiduel a-t-il un composant dans une direction non espacée par l'espace de paramètres du modèle?
Décalage systématique vs Bruit aléatoire
L'effet Hawthorne : les sujets d'une étude changent leur comportement parce qu'ils savent être observés, pas à cause du traitement expérimental.
Interprétation géométrique
Soit le véritable manches de données M vivant dans un espace défini par les variables (x₁, x₂, ..., xₖ, contexte d'observation).
Le modèle ignore le contexte d'observation. Il ajuste une surface aux observations dans (x₁, ..., xₖ) seul.
Lorsque le contexte d'observation vaut 'étudié', les points de données réels décalent le long de l'axe contexte d'observation. La surface du modèle — fixée dans l'espace (x₁, ..., xₖ) — ajuste maintenant des données décalées. Les résidus apparaissent petits (la surface s'ajuste bien dans le contexte d'étude), mais les prédictions dans le contexte non observé sont systématiquement fausses.
La géométrie : la surface du modèle est proche du manche de données contexte d'étude, mais loin du manche de réalité. La distance entre eux : le décalage Hawthorne le long de l'axe contexte d'observation.
La requête de double aveuglement de Hamming : empêcher le contexte d'observation de devenir corrélé avec le traitement. Cela garde le manche de réalité et le manche de contexte d'étude coïncidents — élimine l'offset géométrique.
Autres effets de dimensions cachées
Toute variable affectant le système mais exclue du modèle crée la même structure géométrique :
- Effets saisonniers omis dans les modèles économiques
- Comportement des opérateurs exclus des simulations de fabrication
- État de version du logiciel absent des modèles de performance
Le modèle ajuste une surface de moindre dimension aux données qui vivent sur une variété de plus haute dimension. Les résidus seront petits dans les directions mesurées par le modèle, grands dans les directions non mesurées.
Validation en tant que Alignement Géométrique
Le checklist de validation de Hamming, reformulé en géométrie :
Le fondement théorique soutient-il les lois supposées ? Les dimensions de l'espace des paramètres du modèle espacent-elles la variété de données réelle ? Si les variables clés sont manquantes (dimensions exclues), la surface du modèle ne peut pas être alignée avec la réalité.
Des vérifications internes sont-elles disponibles ? Les lois de conservation sont des contraintes géométriques : les données doivent se trouver sur une sous-variété spécifique définie par la conservation de la masse, la conservation de l'énergie, etc. Si la simulation enfreint ces lois, sa trajectoire a quitté la sous-variété valide.
Croisements contre l'expérience passée connue : la surface du modèle doit passer par des points de validation historiques - pas seulement s'adapter aux données d'entraînement, mais généraliser aux observations hors-échantillon.
La simulation est-elle stable ? Une simulation stable reste près de la variété de solutions réelles malgré de petites perturbations. Une simulation instable quitte le voisinage de la variété et ne peut pas être appelée un modèle valide.
Lorsque la Prédiction Devient une Projection
Hamming a soutenu la méthode des scénarios pour les domaines où la prédiction est impossible : au lieu de dire 'le système fera X', présenter une série de trajectoires possibles sous différents ensembles d'hypothèses.
Interprétation Géométrique
La surface du modèle M(θ) dépend des paramètres θ (hypothèses sur les lois, constantes, conditions limites). Différents ensembles d'hypothèses θ₁, θ₂, ..., θₖ définissent différentes surfaces M(θ₁), ..., M(θₖ).
L'enveloppe de scénario est l'union de ces surfaces : la région de l'espace des sorties que tout les modèles de scénarios pourrait produire.
Une prédiction unique affirme : la véritable issue se trouve près de M(θ) pour l'estimation optimale θ. La méthode des scénarios affirme : la véritable issue se trouve quelque part à l'intérieur de l'enveloppe.
Lorsque l'Enveloppe est Utile
Si l'enveloppe est étroite - les scénarios conviennent sur la sortie malgré différents ensembles d'hypothèses - la confiance dans la prédiction est élevée. Si l'enveloppe est large - différents ensembles d'hypothèses produisent de très différentes sorties - le modèle est très sensible aux hypothèses. Cette sensibilité est la sortie, pas un mode de défaillance.
La revendication de Hamming sur ses propres prédictions : il donnait des scénarios, pas des prédictions ponctuelles. L'avenir qu'il décrit était 'ce qui est probable de se produire, à mon avis', pas une prévision précise.
Chevauchement avec la Réalité
Un modèle de scénario est validé lorsqu la réalité tombe à l'intérieur de l'enveloppe. C'est un test plus faible que la prédiction ponctuelle mais plus honnête sur ce que le modèle peut prétendre.
Mettre Ensemble : Les Modèles Valides et Leur Géométrie
La géométrie d'une simulation valide se résume à trois alignements :
**1. L'espace des paramètres couvre le véritable variété : les dimensions du modèle incluent toutes les variables qui dirigent le système. Les écarts de dimensions cachées produisent des décalages systématiques.
**2. La stabilité maintient le trajectoire près du véritable variété : un champ de directions convergent signifie que les erreurs diminuent. Un champ divergent signifie que la simulation quitte la région valide.
**3. Les résidus sont petits ET non structurés : des résidus aléatoires, sans corrélation, suggèrent que le modèle capture la véritable variété. Des résidus structurés (tendances, motifs) signalent une dimension manquante.
Hamming's 'Why should anyone believe the simulation?' se traduit géométriquement : à quelle distance le modèle est sa surface de la variété réelle, en combien de dimensions, avec quelle stabilité, validé sur combien de points hors-échantillonnage ?