平均、分散、およびバイアス
真の値μの各測定値x_iは次のように書くことができます：x_i = μ + β + ε_i。ここでβは系統誤差（バイアス、すべての測定で一定）、ε_iはランダム誤差（各測定で異なり、平均が0の分布から引き出されます）。
ランダム誤差：E[ε_i] = 0、Var[ε_i] = σ²。標本平均x̄ = (1/n) Σ x_iは期待値μ + β、分散σ²/nを持ちます。n → ∞のとき、x̄ → μ + β（μではなく）。ランダム誤差はゼロに近づきますが、バイアスはそうではありません。
系統誤差：β ≠ 0、定数。任意の数の測定の平均はμ + βです。バイアスを除去するには、より多くの繰り返しではなく、キャリブレーション（βの独立した測定）が必要です。
幾何学的には：測定値の分布をベルカーブとして想像してください。ランダム誤差は幅（分散）を制御します。系統誤差は中心の位置を制御します（平均は真の値からβだけシフトします）。
測定値の報告された不確実性は通常σ（ランダム誤差のみ）の推定値です。βが大きく検出されない場合、報告された不確実性は意味がありません。それはバイアスのある機器のノイズを定量化しているだけです。
バイアス対分散の計算
ある研究所が重力加速度gを測定しています。彼らの機器には系統的キャリブレーション誤差β = +0.05 m/s²があります。彼らのランダム測定誤差は標準偏差σ = 0.02 m/s²を持ちます。彼らはn = 100回の測定を行います。
真の値：g = 9.80 m/s²。
誤差が計算を通じてどのように移動するか
測定量x、yから量z = f(x, y)を計算する場合、それらの測定誤差はzに伝播します。
誤差伝播公式（1次テイラー展開）：
σ²_z ≈ (∂f/∂x)² σ²_x + (∂f/∂y)² σ²_y
（これはx、y誤差が独立していることを仮定しています。相関がある場合は、2 · (∂f/∂x)(∂f/∂y) · Cov(x,y)を追加します。）
主な洞察：偏微分は増幅器として機能します。∂f/∂xが大きい場合、xの小さな誤差はzの大きな誤差を生み出します。
これは、偏微分を最小化する計算方法を選択することが、単なるアルゴリズムの利便性ではなく、本当のエンジニアリング目標であることを意味します。Hammingは彼の数値解析の仕事でこれを強く認識していました。
積を通じた伝播
2つの長さを測定します：L₁ = 10.0 m ± 0.1 m（σ₁ = 0.1）およびL₂ = 5.0 m ± 0.2 m（σ₂ = 0.2）。面積A = L₁ × L₂を計算します。
データが完璧にフィットする場合
カイ二乗適合度検定：n個の観測値O_iとモデル予測E_iが与えられた場合、計算します：
χ² = Σ (O_i − E_i)² / E_i
モデルが正しく、測定値が分散E_iを持つ場合、χ²の期待値は約ν = （データポイント数）−（フィット済みパラメータ数）であり、これを自由度と呼びます。
縮約カイ二乗χ²/νは、データが予想される散らばり量でモデルにフィットする場合、約1.0であるべきです。
- χ²/ν >> 1：データが予想より変動する — モデルが間違っているか、不確実性が過小評価されている。
- χ²/ν << 1：データが予想より変動しない — 疑わしいほど綺麗。
疑わしいケース：測定値がσ = 0.1を持つ場合でも、データがすべてモデル曲線の±0.01以内に収まる場合、誰かが選別して「良い」測定値を保持しています。これは確認バイアスです：同意しないデータを破棄し、同意するデータを保持すること。
Hammingはミリカンの油滴実験を引用しています：電子の電荷のノーベル賞受賞測定。その後のミリカンの実験室ノートブックの分析により、彼は文書化されていない判断を適用して「外れ値」測定を破棄し、保持された測定が疑わしいほど良好にフィットしていることが明らかになりました。
縮約カイ二乗を計算して解釈する
学生が10個のデータポイントに線形モデルy = ax + bをフィットさせ、2つのパラメータ（aおよびb）を推定します。各ポイントの報告された測定不確実性はσ = 0.5です。フィットからの残差（O_i − E_i）は次の通りです：0.08、−0.12、0.05、−0.09、0.11、−0.07、0.04、−0.03、0.10、−0.06。