什麼是真正的模型適應
一個模擬模型提出一個數學主張：實際系統的輸出位於（或接近）特定表面 M 在觀察空間中的位置。
讓實際系統產生觀察值 y₁，y₂，...，yₙ。模型預測值 ŷ₁，ŷ₂，...，ŷₙ。
殘差作為距離：rᵢ = yᵢ - ŷᵢ。每個殘差測量觀察值與其對應模型預測值之間的距離。在 n維觀察空間中，殘差形成一個向量 r = y - ŷ。
最小二乘適應：選擇模型參數以最小化 ||r||² = Σrᵢ²。幾何上，找到模型表面 M 上的點 ŷ，最近於觀察向量 y 在歐幾里得距離。
當殘差誤導
小的 ||r||² 不保證有效模型。兩種系統失敗模式：
1. 系統偏差：殘差 rᵢ 都是正的（或都是負的）。模型一致低估或高估。幾何上：ŷ 位於真實數據流形的平行偏移表面之上——在結構上錯誤，雖然在距離上接近。
2. 錯誤流形：殘差小，因為模型有足夠的自由參數可以精確地適應訓練數據（過擬合）。模型表面穿過數據點，但在點之間曲折。對新數據的預測效果差。
檢測系統偏差
具有零均值殘差的模型可能仍然存在與輸入變量相關的系統偏差。
例子：一個氣象模擬，夏天低估溫度2°C，冬天高估2°C，雖然在全年內殘差的平均值約為0，但具有明顯的季節性偏差。
殘差診斷：將 rᵢ 對每個輸入變量進行繪圖。如果沒有趨勢模式，則表明該變量沒有系統偏差。如果存在趨勢模式，則表明模型中缺少維度。
Hamming的驗證問題——'一個小但關鍵的效果是否遺失了?'——在幾何學上翻譯為：剩餘向量是否具有在模型參數空間中未被展開的方向分量？
系統偏差與隨機雜訊
哈沃斯效應：在研究中，受試者因為知道自己被觀察而改變行為，而不是因為實驗處理。
几何解釋
讓真實數據流形 M 在由變量 (x₁, x₂, ..., xₖ, 觀察上下文) 組成的空間中生存。
模型忽略觀察上下文。它將觀察值在 (x₁, ..., xₖ) 中的數據繪製成一個表面。
當觀察上下文為 '正在研究'，實際數據點沿著觀察上下文軸進行移動。模型的表面——在 (x₁, ..., xₖ) 空間中固定——現在適合遷移數據。剩餘值看起來很小（表面在研究上下文內仍然適合），但在未觀察到的上下文中，預測是系統性錯誤的。
幾何：模型表面接近研究上下文數據流形，但遠離真實流形。距離之間：哈沃斯偏移沿著觀察上下文軸。
Hamming的雙盲要求：防止觀察上下文與處理相關。這將使真實流形和研究上下文流形重合——消除幾何偏移。
其他隱藏維度效應
任何影响系统但被排除在模型之外的变量会创建相同的几何结构：
- 从经济模型中省略的季节效应
- 从制造模拟中排除的操作员行为
- 在性能模型中缺少的软件版本状态
模型将生活在更高维子空间中的数据拟合到一个低维表面上。残差在模型测量的方向上会很小，在未测量的方向上会很大。
验证作为几何对齐
Hamming的验证清单，用几何来重新表述：
背景理论是否支持假设的法则？ 模型参数空间的维度是否覆盖了真实数据的子空间？如果关键变量被排除（被排除的维度），模型表面就无法与现实保持对齐。
内部检查是否可用？ 保存律是几何约束：数据必须位于由质量守恒、能量守恒等定义的特定子空间。如果模拟违反这些约束，它的轨迹已经离开了有效的子空间。
与已知过去经历进行交叉检查： 模型表面必须通过历史验证点——不仅仅是适应训练数据，还要将模型推广到未见样本观察中。
模拟是否稳定？ 稳定的模拟在小扰动下仍然接近真实解的子空间。不可靠的模拟离开子空间，无法称为有效模型。
預測變成投影時
Hamming 支持在預測不可能的領域中使用場景方法：而不是宣稱「系統將做 X」，提供在不同假設集下的可能路徑集。
几何解釋
模型表面 M(θ) 依賴於參數 θ（對法律、常數和邊界條件的假設）。不同假設集 θ₁，θ₂，...，θₖ 定義不同的表面 M(θ₁)，...，M(θₖ)。
場景包圍物是這些表面之間的聯集：模型可能產生的輸出空間區域。
單個預測聲稱：真實結果位於最佳估計 θ 的 M(θ) 附近。場景方法聲稱：真實結果位於包圍物內。
當包圍物有用時
如果包圍物狹窄——不同假設下的輸出一致——對預測的信心高。如果包圍物寬——不同假設產生非常不同的輸出——模型對假設非常敏感。這種敏感性是輸出，而不是失敗模式。
Hamming 對他自己的預測的聲明：他在給場景，而不是單點預測。他描述的未來是「在我看來，很可能發生的事情」，而不是精確的預測。
與現實的重疊
場景模型在現實落在包圍物內時得到驗證。這是一個比單點預測更弱的測試，但對模型可以聲稱的更真實。
把它們放在一起：有效模型及其幾何
有效模擬的幾何歸結為三個對齊:
1. 參數空間覆蓋真實多維度: 模型的維度包括驅動系統的所有變數。隱藏維度的差距會產生系統偏差。
2. 穩定性使軌跡接近真實多維度: 收敛方向場意味著錯誤會縮小。分裂場意味著模擬會離有效區域。
3. 殘差小且無結構: 隨機、無相關的殘差表明模型捕捉了真實多維度。結構化殘差（趨勢、模式）意味著缺少維度。
Hamming 的『任何人為什麼相信模擬？』在幾何上翻譯為：模型表面與現實多維度之間的距離是多少，具有多少維度的穩定性，經過了多少個外樣點的驗證？