Центральне питання
Геммінг розпочав розділ 19 прямою цитатою з конференції Summer Computer Simulation Conference 1975 року:
> Оскільки важливі рішення мають спиратися на симуляцію, її валідність мусить бути перевірена, й прихильники симуляції повинні мати змогу описати рівень справжнього представлення, якого вони досягли.
Його формулювання того ж питання, гострішою:
> Чому комусь мало б вірити, що симуляція релевантна?
Не починайте симуляцію, доки ви серйозно не обміркували це питання. Часто існують практичні тиски на початок обчислень негайно — час, гроші, організаційна інерція. Ці тиски не змінюють питання.
Досвід Геммінга: коли він піднімав питання валідності щодо симуляцій, відповіді невідмінно посилалися на:
- Скільки людей працювало над роботою
- Наскільки великим і швидким був комп'ютер
- Наскільки важливою була проблема
Жодна з цих відповідей не стосується валідності. Це соціальні аргументи, не технічні.
Історія космічного польоту: директор симуляції стверджував 99,44% надійність для запусків. Геммінг наполягав: надійність чого? Після того, як його припинили, директор визнав, що його цифра була надійністю симуляції, а не самого польоту. Крім того, він визнав, що директор NASA, який затвердив запуски, не розумів різниці — й він не виправив це непорозуміння.
Змішування надійності симуляції з надійністю системи — одна з найнебезпечніших помилок в інженерній практиці.
Що насправді вимагає валідація
Геммінг зібрав контрольний список для оцінки надійності симуляції. На кожне питання мусить бути дана відповідь, перш ніж вихід симуляції отримує вагу для прийняття рішень:
1. Чи підтримує базова теорія припущені закони? Фізичні симуляції спираються на перевірені рівняння; економічні симуляції часто не спираються.
2. Чи може бути пропущено невеликий але важливий ефект? Приклад тренажера пілота: відмінний для відомої фізики; небезпечний, якщо новий літак має взаємодії, які ще не включені.
3. Чи надійні вхідні дані? Невизначеність входів поширюється через обчислення. Знайте, звідки дані походять.
4. Стійка або нестійка симуляція? Нестійкі векторні поля посилюють помилки входу; стійкі їх пригнічують.
5. Які перехресні перевірки проти відомого минулого досвіду доступні?
6. Чи можна вироблити внутрішні перевірки? Збереження маси, енергії, кутового імпульсу або інших інваріантів. Без надлишковості можлива подвійна перевірка помилок.
7. Чи точно позначення на папері потрапляють до машини? Помилки програмування зберігаються роками в продакшн-коді. Автоматичний механізм читання карток, що переводив описи реакцій у диференціальні рівняння — рішення Геммінга для симуляції атмосферної хімії — зменшує помилки переписування без спирання на людську пильність.
Геммінговий закон економіки
Фізичні симуляції спираються на перевірені, математично виражені закони. Хімічні симуляції вимагають перевірених констант швидкості. Біологічні симуляції вимагають відомої динаміки популяцій.
Економіка, на думку Геммінга, має один надійний закон: ви не можете спожити те, що не вироблено. Кожен інший заявлений економічний закон — це або математична тавтологія, або він іноді помилюється.
Імплікація для симуляції: коли базові закони не дотримуються надійно, уся основа симуляції підозріла. Висока точність в обчисленнях не компенсує ненадійні закони в моделі.
Відповідь Геммінга, коли його попросили запустити екологічні симуляції: він попросив математично виражені правила для кожної взаємодії, з чисельними константами, й реальні дані для порівняння тестових запусків. Запитувачі скоро знайшли когось більш готового запустити 'дуже сумнівні симуляції, які дали б результати, які вони хотіли'.
Геммінгове правило: зберігайте свою чесність. Не дозволяйте собою користуватися для пропаганди інших людей. Відмовляйтеся від симуляцій, які структурно розроблені для підтвердження висновку.
Парадокс Сімпсона в даних симуляції
Геммінгова історія з Берклі: більше чоловіків ніж жінок було прийнято до аспірантури, що припускало дискримінацію. Жодний окремий факультет не показав дискримінацію. Пояснення: жінки подавали заяви диспропорційно на факультети з низькими рівнями прийому; чоловіки подавали заяви диспропорційно на факультети з високими рівнями прийому. Загальна статистика була реальною й оманливою.
Це парадокс Сімпсона: об'єднання даних може створити здаються ефекти, які не присутні в жодній підгрупі. Виходи симуляції, що об'єднують групи, регіони або періоди часу, можуть мати таку ж патологію.
Симуляції, що змінюють те, що вони моделюють
Особливий клас невдачі симуляції: предмет змінює поведінку у відповідь на модель.
Приклад фондового ринку: якщо широко відома торговельна стратегія надійно приносить прибутки вище ринку, учасники її прийматимуть, і конкуренція усуне надлишковий прибуток. Успіх моделі знищує валідність моделі.
Медичний приклад: подвійне сліпе експериментування існує, оскільки лікарі, які знали, які пацієнти отримали лікування та які отримали плацебо, знаходили покращення там, де вони його очікували. Знання лікарів забруднило спостереження.
Симуляція для рішень високої ставки — економічна політика, військове планування, охорона здоров'я — стикається з цією проблемою щоразу, коли вихід симуляції робиться публічним або керує поведінкою.
Дискретизація й точність
Теорема Найквіста встановлює фундаментальне обмеження на цифрову симуляцію безперервних систем: вам потрібно щонайменше два зразки за період найвищої частоти, присутної в сигналі.
На практиці, зауважив Геммінг, односторонній вибір і накладання спектрів штовхають вимогу на сім до десяти зразків за період найвищої цікавої частоти.
Компромис точності: аналогові комп'ютери (в еру Геммінга) досягли максимум однієї частини на 10 000 точності на компонент. Цифрові комп'ютери можуть мати довільну точність. Але цифрова точність вимагає адекватної дискретизації — й для сигналів з гострим високочастотним вмістом, що дискретизаційна частота керує вартістю обчислення.
Аналогова перевага: швидкість й фізична інтеграція. Ви можете прямо підключити фізичний компонент до аналогової схеми й виміряти його поведінку без пошуку математичного його описання. Для ранніх конструкцій керованих ракет це дозволило швидко почути систему перед повною математичною моделлю.
Аналогові машини, що використовувалися для ранньої роботи ракет, походили від деталей директора гармати M9. Геммінг побудував диференціальний аналізатор з такого обладнання. Час розв'язання: близько 30 хвилин на траєкторію. Той темп примусив глибоке міркування між запусками — обмеження, яке Геммінг почав розглядати як структурну перевагу.
Відчуття проти точності: проблема посадки на Марс
Геммінг поставив гостре питання дизайну: для тренажера марсіанського посадкового модуля, чи повинна симуляція оптимізувати позиційну точність або відчуття від засобу?
Класичний чисельний аналіз оптимізує траєкторію положення, використовуючи локальні поліноміальні наближення. Шлях точний, але прискорення змінюється розривно на кожному поліноміальному інтервалі — неприродне 'відчуття'.
Методи частотної області оптимізують частотну відповідь симулятора. Положення може бути менш точним, але пілот сприймає динамічну реакцію засобу правильно. Мускульна пам'ять пілота формується на правильній передавальній функції.
Геммінговий суд: тренажер пілота повинен оптимізувати відчуття. Під час реального польоту пілот може компенсувати помилки позиції через зворотне управління. Якщо відчуття неправильне, пілот був натренований на засобі, який не існує.
Глибший принцип: вибір методу чисельного характеру кодує претензію про те, що має значення в симуляції. Ця претензія — судження про область, не математичне.