Główne Pytanie
Hamming otworzył rozdział 19 bezpośrednim cytatem z 1975 roku Letniej Konferencji Komputerowej Symulacji:
> Odważne decyzje muszą opierać się na symulacji, dlatego niezbędne jest przetestowanie jej ważności oraz opisanie przez jej zwolenników poziomu autentycznej reprezentacji, którą osiągnęli.
Jego sformułowanie tego samego pytania, ostrzejsze:
> Dlaczego ktokolwiek powinien wierzyć, że symulacja jest relevantna?
Nie zacznij symulacji, dopóki tego pytania nie podejmiesz na poważnie. Często są praktyczne naciski, aby zacząć obliczenia natychmiast - czas, pieniądze, dynamiczny impet organizacyjny. Te naciski nie zmieniają pytania.
Doświadczenie Hamminga: gdy podnosił pytania dotyczące ważności symulacji, odpowiedzi zwykle cytowały:
- Ile siły roboczej zostało wykorzystane w pracy
- Jak duży i szybki był komputer
- Ile ważne było zadanie
Niektóre z tych odpowiedzi nie dotyczą ważności. Są to argumenty społeczne, a nie techniczne.
Historia z lotem kosmicznym: dyrektor symulacji twierdził, że jego symulacja ma 99,44% niezawodności startów. Hamming zapytał: niezawodność czego? Po długim oblężeniu dyrektor przyznał, że jego liczba odnosiła się do niezawodności symulacji, a nie rzeczywistego lotu. Dodatkowo przyznał, że dyrektor NASA, który zatwierdzał starty, nie rozumiał tej różnicy - i nie poprawił tego błędu.
Zlewienie niezawodności symulacji z niezawodnością systemu to jeden z najbardziej niebezpiecznych błędów w praktyce inżynierskiej.
Co Właściwie Wymaga Weryfikacji
Hamming opracował listę sprawdzającą dla oceny niezawodności symulacji. Każde pytanie musi być zadowalająco zbadane przed tym, zanim wyniki symulacji będą miały wagę decyzyjną:
1. Czy teoria podstawowa wspiera przyjęte prawa? Symulacje fizyczne opierają się na zweryfikowanych równaniach; symulacje ekonomiczne często tego nie robią.
2. Czy może brakować małego, ale istotnego efektu? Przykład trenera pilotażowego: doskonały dla znanych zjawisk fizycznych; niebezpieczny, jeśli nowy samolot ma interakcje nie uwzględnione jeszcze w symulacji.
3. Czy dane wejściowe są wiarygodne? Niepewność wejściowa propaguje się przez obliczenia. Więc, skąd pochodzą dane?
4. Czy symulacja jest stabilna czy niestabilna? Niestabilne pola kierunkowe wzmacniają błędy wejściowe; stabilne je hamują.
5. Jakie przeciwstawienia dostępne są wobec znanych doświadczeń przeszłych?
6. Czy można wygenerować kontrole wewnętrzne? Zachowanie masy, energii, momentu pędu czy innych invariantów. Bez nadmiarowości nie ma możliwości wykrycia błędów.
7. Czy oznaczenia na papierze wprowadzają się dokładnie do maszyny? Błędy programistyczne przetrwają lata w produkcyjnym kodzie. Zautomatyzowany czytnik kart, który tłumaczył opisy reakcji na równania różniczkowe - Hamming's rozwiązanie dla symulacji chemii atmosfery - redukuje błędy transkrypcji bez polegania na czujności ludzkiej.
Prawo Hamminga o Gospodarce
Symulacje fizyczne opierają się na potwierdzonych, sformułowanych matematycznie prawach. Symulacje chemiczne wymagają sprawdzonych stałych szybkości. Symulacje biologiczne wymagają znanych dynamik populacji.
Gospodarka, w opinii Hamminga, ma jedno wiarygodne prawo: nie można spożywać tego, co nie zostało wyprodukowane. Każde inne zgłoszone prawo gospodarcze jest lub matematyczną tautologią, czy też jest czasami fałszywe.
Skutki dla symulacji: gdy nie istnieją wiarygodne prawa tła, cała podstawa symulacji jest podejrzana. Wysoka precyzja w obliczeniach nie kompensuje niereliabilnych praw w modelu.
Odpowiedź Hamminga, gdy został poproszony o prowadzenie symulacji ekologicznych: zapytał o zapisane matematycznie zasady interakcji, z liczbami całkowitymi oraz o rzeczywiste dane do porównania wyników testowych z rzeczywistością. Ostatecznie osoby, które zleciły symulacje, znaleźli kogoś bardziej skłonnego do prowadzenia 'bardzo wątpliwych symulacji, które dałyby wyniki, które one chciały.'
Zasada Hamminga: zachowaj swoją integralność. Nie pozwól, abyś został wykorzystany do propagandy innych osób. Odrzuć symulacje, które są strukturalnie zaprojektowane do potwierdzenia wniosku.
Paradoks Simpsona w danych symulacyjnych
Historia z Berkeley Hamminga: w uczelniach wyższych przyjmowano więcej mężczyzn niż kobiet, co sugerowało dyskryminację. W żadnym z osobnych wydziałów nie było dyskryminacji. Wyjaśnienie: kobiety aplikowały w większości do wydziałów z niskimi stawkami przyjęć; mężczyźni aplikowali w większości do wydziałów z wysokimi stawkami przyjęć. Statystyka agregująca była prawdziwa, ale mylna.
To jest Paradoks Simpsona: łączenie danych może tworzyć efekty pozornego charakteru nieobecne w żadnej z grup podstawowych. Wyjścia z symulacji, które agregują nad grupami, regionami lub okresami czasu, mogą wykazać tę samą patologię.
Symulacje, które zmieniają to, co modelują
Odrębna klasa błędów symulacyjnych: osoba badawcza zmienia zachowanie w odpowiedzi na model.
Przykład na rynku akcji: jeśli strategia handlowa wiarygodnie przynosi zyski powyżej rynku, uczestnicy zaczną ją stosować, a konkurencja wyeliminuje nadwyżkę zysków. Sukces modelu niszczy ważność modelu.
Przykład medyczny: istnienie eksperymentu z dwiema grupami placebo istniało dlatego, że lekarze, którzy wiedzieli, którzy pacjenci otrzymali leczenie i którzy otrzymali placebo, stwierdzili poprawę tam, gdzie się spodziewali. Wiedza lekarzy skażała obserwację.
Symulacje dla decyzji o wysokich stawkach - polityki gospodarcze, planowanie wojskowe, zdrowie publiczne - napotykają ten problem, gdy wyniki symulacji są udostępniane lub kierują zachowaniem.
Probowanie & Precyzja
Teoria Nyquista ustala podstawowy ogranicznik cyfrowej symulacji układów ciągłych: potrzebujesz co najmniej dwóch próbek na okres najwyższej częstotliwości obecnej w sygnale.
W praktyce Hamming zauważył, że jednostronne probowanie i przejście fałszujące zwiększają wymaganie do siedmiu do dziesięciu próbek na okres najwyższej częstotliwości zainteresowania.
Zawód precyzji: komputery analogowe (w epoce Hamminga) osiągały co najwyżej jedną część w 10 000 dokładności na komponent. Komputery cyfrowe mogą przenosić dowolną precyzję. Ale cyfrowa dokładność wymaga odpowiedniego próbkowania - a dla sygnałów o ostrym wysokich częstotliwości, ta szybkość próbkowania kieruje kosztem obliczeń.
Przywilej analogowy: szybkość i fizyczne scalenie. Można bezpośrednio podłączyć komponent fizyczny do obwodu analogowego i zmierzyć jego zachowanie bez znajdowania opisu matematycznego. W przypadku wczesnych projektów rakiet kierowanych to pozwoliło na szybki poczucie systemu przed pełnym modelem matematycznym.
Maszyny analogowe używane do wczesnych prac nad rakiety kierowane pochodziły z części kierownicy armaty M9. Hamming zbudował analizator różnicowy z takich urządzeń. Czas rozwiązania: około 30 minut na trajektorię. Ten rytm zmuszał do głębokiej refleksji między biegami - ograniczenie, z którego Hamming zaczął uważać jako strukturalny atut.
Czułość vs Precyzja: Problem Lądownika Marsjańskiego
Hamming postawił ostrą pytanie o projekt: dla trenera lotu lądownika marsjańskiego, czy symulator powinien zoptymalizować się pod kątem dokładności pozycji czy pod kątem sensu pojazdu?
Klasyczna numeryczna analiza optymalizuje ścieżkę pozycji za pomocą lokalnych aproksymacji wielomianowych. Droga jest dokładna, ale zmiany przyspieszenia są nieprzyrodzone - nienaturalne 'sensu'.
Metody w obszarze częstotliwości optymalizują odpowiedź na częstotliwość symulatora. Pozycja może być mniej dokładna, ale pilot odczuwa prawidłową odpowiedź dynamiki pojazdu. Pamięć mięśniowa pilota tworzy się na prawidłowej funkcji przejścia.
Ocena Hamminga: trener pilota powinien zoptymalizować się pod kątem sensu. Podczas rzeczywistej lotu pilot może kompensować błędy pozycji poprzez kontrolę zwrotki. Jeśli sens jest nieprawidłowy, pilot został przeszkolony dla pojazdu, który nie istnieje.
Głębsza zasadę: wybór metody numerycznej implikuje twierdzenie o tym, co w symulacji ma znaczenie. To twierdzenie jest sądem z zakresu, a nie matematyczne.