Центральный вопрос
Хэмминг открыл главу 19 с прямой цитатой из конференции Summer Computer Simulation Conference 1975 года:
> Так как важные решения должны полагаться на симуляцию, необходимо проверить её валидность и её защитники должны иметь возможность описать уровень аутентичного представления, которое они достигли.
Его формулировка того же вопроса, острее:
> Почему кому-то верить, что симуляция релевантна?
Не начинайте симуляцию, пока вы не дали этому вопросу серьёзное внимание. Часто возникают практические давления, чтобы начать вычисления немедленно — время, деньги, организационный импульс. Эти давления не изменяют вопрос.
Опыт Хэмминга: когда он поднимал вопросы о валидности симуляций, ответы неизменно ссылались на:
- Сколько человеко-часов потрачено на работу
- Насколько большой и быстрый компьютер
- Насколько важна проблема
Ни один из этих ответов не отвечает вопрос валидности. Это социальные аргументы, не технические.
История космических полётов: директор симуляции утверждал 99,44% надёжность для запусков. Хэмминг настаивал: надёжность чего? После того, как его загнали в угол, директор признал, что его цифра была надёжностью симуляции, а не фактического полёта. Он также признал, что директор NASA, который одобрил запуски, не понимал различия — и он не исправил это неправильное понимание.
Смешение надёжности симуляции с надёжностью системы — одна из самых опасных ошибок в инженерной практике.
Что на самом деле требует валидация
Хэмминг собрал контрольный список для оценки надёжности симуляции. На каждый вопрос надо ответить перед тем, как результаты симуляции получат вес в решениях:
1. Поддерживает ли фоновая теория предполагаемые законы? Физические симуляции основаны на проверенных уравнениях; экономические симуляции часто не основаны.
2. Может ли отсутствовать небольшой, но жизненно важный эффект? Пример с тренажёром лётчика: отличный для известной физики; опасный, если новый самолёт имеет взаимодействия, ещё не включённые.
3. Надёжны ли входные данные? Неопределённость во входных данных распространяется через вычисления. Знайте, откуда пришли данные.
4. Стабильна или нестабильна симуляция? Нестабильные поля направлений увеличивают входные ошибки; стабильные их затухают.
5. Какие кросс-проверки против известного прошлого опыта доступны?
6. Можно ли создать внутренние проверки? Сохранение массы, энергии, углового момента или других инвариантов. Без избыточности невозможно обнаружение ошибок.
7. Точно ли отметки на бумаге попадают в машину? Ошибки программирования сохраняются годами в боевом коде. Автоматическое считывающее устройство карт, которое переводило описания реакций в дифференциальные уравнения — решение Хэмминга для симуляции химии атмосферы — снижает ошибки транскрипции без опоры на бдительность человека.
Закон Хэмминга об экономике
Физические симуляции основаны на проверенных, математически выраженных законах. Симуляции химии требуют проверенных констант скорости. Биологические симуляции требуют известной динамики популяций.
Экономика имеет, по мнению Хэмминга, один надёжный закон: вы не можете потреблять то, что не производится. Любой другой утверждаемый экономический закон — либо математическая тавтология, либо иногда ложен.
Последствие для симуляции: когда фоновые законы не держатся надёжно, весь фундамент симуляции подозрителен. Высокая точность в вычислениях не компенсирует ненадёжные законы в модели.
Ответ Хэмминга когда его попросили запустить экологические симуляции: он попросил математически выраженные правила для каждого взаимодействия с численными константами и реальные данные для сравнения тестовых прогонов. Те, кто запрашивал, скоро нашли кого-то более готового запустить 'весьма сомнительные симуляции, которые дадут нужные им результаты.'
Правило Хэмминга: сохраняйте вашу честность. Не позволяйте себе использовать для чужой пропаганды. Отказывайте от симуляций, которые структурно разработаны для подтверждения вывода.
Парадокс Симпсона в данных симуляции
История Хэмминга в Беркли: больше мужчин, чем женщин было принято в аспирантуру, что предполагало дискриминацию. Ни один отдельный факультет не показывал дискриминацию. Объяснение: женщины подали заявки непропорционально в факультеты с низким процентом принятия; мужчины подали заявки непропорционально в факультеты с высоким процентом принятия. Совокупная статистика была реальной и вводящей в заблуждение.
Это парадокс Симпсона: объединение данных может создать кажущиеся эффекты, отсутствующие в любой подгруппе. Результаты симуляции, которые совокупляют по группам, регионам или периодам времени, могут демонстрировать ту же патологию.
Симуляции, которые изменяют то, что они моделируют
Специальный класс отказа симуляции: субъект изменяет поведение в ответ на модель.
Пример с фондовым рынком: если широко известная торговая стратегия надёжно дает доходы выше рынка, участники её примут, и конкуренция устранит избыточный доход. Успех модели разрушает валидность модели.
Медицинский пример: двойной слепой эксперимент существует потому, что врачи, которые знали, какие пациенты получили лечение и какие получили плацебо, нашли улучшение там, где они его ожидали. Знание врачей загрязнило наблюдение.
Симуляция для высокоставочных решений — экономическая политика, военное планирование, общественное здравоохранение — сталкивается с этой проблемой, когда результаты симуляции становятся общественно известны или направляют поведение.
Дискретизация и точность
Теорема Найквиста устанавливает фундаментальное ограничение на цифровую симуляцию непрерывных систем: вам нужно по крайней мере два образца на период самой высокой частоты, присутствующей в сигнале.
На практике, отметил Хэмминг, односторонняя дискретизация и наложение спектра толкают требование к семи или десяти образцам на период самой высокой интересующей частоты.
Компромисс точности: аналоговые компьютеры (в эру Хэмминга) достигали самое большее одной части из 10 000 точности на компонент. Цифровые компьютеры могут нести произвольную точность. Но цифровая точность требует адекватной дискретизации — и для сигналов с резким высокочастотным содержанием, эта частота дискретизации управляет стоимостью вычисления.
Аналоговое преимущество: скорость и физическая интеграция. Вы можете напрямую подключить физический компонент в аналоговую схему и измерить его поведение без необходимости найти математическое описание. Для ранних конструкций управляемых ракет это позволило быстрое получение ощущения системы до появления полной математической модели.
Аналоговые машины, используемые для ранней работы с ракетами, вытекали из деталей тангажного регулятора M9. Хэмминг построил дифференциальный анализатор из такого оборудования. Время решения: примерно 30 минут на траекторию. Этот темп вынудил глубокое размышление между прогонами — ограничение, которое Хэмминг пришёл считать структурным преимуществом.
Ощущение против точности: проблема марсохода
Хэмминг поставил острый вопрос проектирования: для тренажёра полёта марсохода, должна ли симуляция оптимизировать позиционную точность или ощущение транспортного средства?
Классический численный анализ оптимизирует позиционную траекторию, используя локальные полиномиальные приближения. Путь точен, но изменения ускорения разрывны в каждом интервале полинома — неестественное 'ощущение.'
Методы частотной области оптимизируют частотный отклик симулятора. Позиция может быть менее точной, но лётчик воспринимает динамический отклик транспортного средства правильно. Мышечная память лётчика формируется на правильной передаточной функции.
Суждение Хэмминга: тренажёр лётчика должен оптимизировать ощущение. Во время фактического полёта лётчик может компенсировать позиционные ошибки через обратную связь управления. Если ощущение неправильно, лётчик был обучен для транспортного средства, которое не существует.
Более глубокий принцип: выбор численного метода кодирует утверждение о том, что имеет значение в симуляции. Это утверждение — суждение по предметной области, не математическое.