Чого насправді полягає підбор моделі
Симуляційна модель робить математичне твердження: вихідні дані реальної системи лежать на (або близько до) певної поверхні M у просторі спостережень.
Допустимо, що реальна система виробляє спостереження y₁, y₂, ..., yₙ. Модель передбачає значення ŷ₁, ŷ₂, ..., ŷₙ.
Залишки як відстані: rᵢ = yᵢ - ŷᵢ. Кожен залишок вимірює відстань між спостереженням та його відповідним прогнозом моделі. У n-вимірному просторі спостережень залишки утворюють вектор r = y - ŷ.
Мінімалізація квадратів: оберіть параметри моделі для мінімізації ||r||² = Σrᵢ². Геометрично, знайдіть точку ŷ на поверхні моделі M, яка найближча до вектора спостережень y за евклідовою відстанню.
Коли залишки вводять в оману
Малі ||r||² не гарантує валідацію моделі. Два систематичних провалові режими:
1. Систематична помилка: залишки rᵢ невеликі, але всі позитивні (або всі негативні). Модель систематично недо- або пере-пredictує. Геометрично: ŷ лежить на паралельній відхиленій поверхні щодо справжньої поверхні даних — близька за відстанню, але неправильна в структурі.
2. Справжня поверхня: залишки невеликі через те, що моделі має достатньо вільних параметрів, щоб точно підійти до навчальних даних (переобучення). Поверхня моделі проходить через точки даних, але вигинається між ними. Прогнози на нових даних погані.
Виявлення систематичної помилки
Модель з середнім залишком, рівним нулю, може все одно мати систематичну помилку, яка змінюється з входом.
Приклад: симуляція погоди, яка недооцінює температуру на 2°C улітку та перевищує у зимові місяці на 2°C, має середній залишок ≈ 0 протягом повного року, але ясна сезонна помилка.
Діагностика залишків: зображіть rᵢ проти кожного входу. Рівна патерн (без тенденції) свідчить про відсутність систематичної помилки від цього входу. Тенденційний патерн розкриває відсутність розмірності в моделі.
Верифікаційна питання Хаммінга - 'Може бути пропущено невелике, але важливе впливи?' - геометрично перекладається: має ли вектор залишку компоненту в напрямку, який не охоплює параметричне простір моделі?
Систематична відхилення проти випадкових шумів
Ефект Хоуторна: суб'єкти дослідження змінюють свою поведінку через те, що знають, що їх спостерігають, а не через експериментальне лікування.
Геометричний тлумачення
Доповнена реальна поверхня даних M існує в просторі, охопленому змінними (x₁, x₂, ..., xₖ, спостережувальний контекст).
Модель ігнорує спостережувальний контекст. Вона підлаштовується під поверхню на основі спостережень у (x₁, ..., xₖ) самотужки.
При спостережувальному контексті 'досліджуваний' фактичні точки даних зміщуються по осі спостережувального контексту. Поверхня моделі, яка фіксується у просторі (x₁, ..., xₖ), тепер підходить до переміщених даних. Залишкові значення виглядають невеликими (поверхня все ще добре підходить у дослідницькому контексті), але прогнози в неспостерігуваному контексті систематично неправильні.
Геометрія: поверхня моделі знаходиться близько до поверхні даних у дослідницькому контексті, але віддалена від реальної поверхні даних. Відстань між ними: систематична відхилення Хоуторна по осі спостережувального контексту.
Потреба Хаммінга у подвійному блінді: запобігти кореляції між спостережувальним контекстом та лікуванням. Це зберігає поверхню реальної взаємодії та поверхню дослідницького контексту на одній лінії - усуває геометричне відхилення.
Інші ефекти скритих вимірів
Любий змінна, яка впливає на систему, але виключена з моделі, створює ту саму геометричну структуру:
- Сезонні ефекти, які не враховуються в економічних моделях
- Поведінка оператора, яка виключена з симуляцій виробничого процесу
- Стан версії програмного забезпечення, відсутній у моделях ефективності
Модель адаптує нижчедименціональну поверхню до даних, які існують на вишедименціональному манифолд. Резидуали будуть малі в напрямках, які вимірюються моделлю, а великі в незмірюваних напрямках.
Validation як геометрична відповідність
Переконання Hamming про перевірку, перефразовано як геометрія:
Чи підтримує теорія тла встановлені закони? Вимірювання параметрів моделі охоплюють справжній манифолд даних? Якщо ключові змінні відсутні (виключені розмірності), поверхня моделі не може бути зорієнтована з реальністю.
Доступні внутрішні перевірки? Закон збереження є геометричним обмеженням: дані повинні перебувати на певному підманифолд, визначеному законом збереження маси, енергії тощо. Якщо симуляція порушує ці правила, її траєкторія залишається на валідному підманифолд.
Перевірки з використанням відомих минулих досвідів: поверхня моделі повинна проходити через історичні пункти перевірки - не лише адаптувати навчальні дані, але й загалом адаптувати до даних, що виходять за межі навчальної бази.
Чи є симуляція стабільною? Стабільна симуляція залишається поблизу справжньої манифолд даних, незважаючи на невеликі відхилення. Нестабільна симуляція віддаляється від оточення манифолд даних та не може бути названа валідною моделлю.
Коли прогнозування стає проєкцією
Hamming схвалював метод сценаріїв для областей, де прогнозування неможливе: замість того, щоб стверджувати, що «система зробить X», представіть ряд можливих траєкторій під різними припущеннями.
Геометрична інтерпретація
Поверхня моделі M(θ) залежить від параметрів θ (припущень про закони, константи, межі умови). Різні набори припущень θ₁, θ₂, ..., θₖ визначають різні поверхні M(θ₁), ..., M(θₖ).
Сценарійна оболонка є об'єднанням цих поверхонь: регіон простору вихідних, який може створити будь-який з моделей сценаріїв.
Один прогноз стверджує: справжня результат буде розташований близько M(θ) для найкращого оцінки θ. Метод сценаріїв стверджує: справжній результат знаходиться quelque part всередині оболонки.
Коли оболонка є корисною
Якщо оболонка є вузькою - всі сценарії погоджуються щодо вихідних, незважаючи на різне припущення - впевненість у прогнозі висока. Якщо оболонка є широка - різні припущення призводять до дуже різних вихідних - модель чутлива до припущень. Ця чутливість є результатом, а не невдачею.
Заява Hamminga про свої власні прогнози: він давав сценарії, а не точні прогнози. Будівля майбутнього, яку він описував, - «що ймовірно сталося, на мою думку», а не точний прогноз.
Перетин з реальністю
Модель сценарію підтверджується, коли реальність падає всередину оболонки. Це слабкіший тест, ніж точний прогноз, але більшonest про те, що модель може стверджувати.
З'єднання моделей та їх геометрії: валідація моделей
Геометрія коректного моделювання зводиться до трьох відповідних напрямків:
1. Простір параметрів охоплює справжню многочлен: розміри моделі містять всі змінні, які керують системою. Діапазони прихованих розмірів призводять до систематичних відхилів.
2. Стабільність тримає траєкторію поблизу справжньої многочлена: збіжний напрямковий поле означає, що помилки зменшуються. Розгалужений поле означає, що моделювання відходить від коректної області.
3. Резидуали є невеликими І безструктурними: випадкові, безкореляційні резидуали свідчать, що модель відображає справжню многочлен. Структуровані резидуали (тrends, patterns) свідчать про відсутність розмірності.
Hamming's 'Чи повинен хто-небудь вірити моделюванню?' геометрично перекладається: скільки моделювальний поверх відстає від реальної многочлена, в скількі розмірності, з якою стабільністю, перевірено на скільких крапках, що не входять до навчальної вибірки?