Pytanie centralne
Hamming otworzył rozdział 19 bezpośrednim cytatem z Letniej Konferencji Symulacji Komputerowej z 1975 roku:
> Ponieważ ważne decyzje muszą opierać się na symulacji, istotne jest, aby jej ważność była testowana, a jej zwolennicy byli w stanie opisać poziom autentycznej reprezentacji, którą osiągnęli.
Jego sformułowanie tego samego pytania, ostrzejsze:
> Dlaczego ktokolwiek powinien wierzyć, że symulacja jest istotna?
Nie rozpoczynaj symulacji, dopóki nie poddasz tego pytania głębokim przemyśleniom. Często istnieją praktyczne naciski, aby natychmiast rozpocząć obliczenia: czas, pieniądze, pęd organizacyjny. Te naciski nie zmieniają pytania.
Doświadczenie Hamminga: gdy poruszał kwestie ważności symulacji, odpowiedzi zawsze powoływały się na:
- Ile siły roboczej poszło w pracę
- Jak duży i szybki był komputer
- Jak ważny był problem
Żadna z tych odpowiedzi nie dotyczy ważności. To są argumenty społeczne, a nie techniczne.
Historia lotu kosmicznego: dyrektor symulacji twierdził, że ma niezawodność 99,44% dla startów. Hamming naciskał: niezawodność czego? Po wciśnięciu w kąt dyrektor przyznał, że jego liczba była niezawodnością symulacji, a nie rzeczywistego lotu. Dalej przyznał, że dyrektor NASA, który zatwierdził starty, nie rozumiał tego rozróżnienia, a nie poprawił tego nieporozumienia.
Mylenie niezawodności symulacji z niezawodnością systemu jest jednym z najbardziej niebezpiecznych błędów w praktyce inżynierskiej.
Co walidacja faktycznie wymaga
Hamming zestawił listę kontrolną do oceny niezawodności symulacji. Każde pytanie musi być odpowiednio rozpatrzone, zanim wynik symulacji uzyska wagę decyzyjną:
1. Czy teoria tła wspiera przyjęte prawa? Symulacje fizyki opierają się na zweryfikowanych równaniach; symulacje ekonomiczne często nie.
2. Czy mały, ale istotny efekt może być pominięty? Przykład trenera pilota: doskonały dla znanej fizyki; niebezpieczny, jeśli nowy samolot ma interakcje nie uwzględnione jeszcze.
3. Czy dane wejściowe są wiarygodne? Niepewność w wejściach rozprzestrzenia się przez obliczenia. Wiedz, skąd pochodzą dane.
4. Czy symulacja jest stabilna czy niestabilna? Niestabilne pola kierunkowe wzmacniają błędy wejściowe; stabilne je tłumią.
5. Jakie sprawdzenia krzyżowe względem znanego doświadczenia z przeszłości są dostępne?
6. Czy można wytworzyć wewnętrzne sprawdzenia? Zachowanie masy, energii, momentu pędu lub innych niezmienników. Bez redundancji nie jest możliwe wykrycie błędu.
7. Czy znaki na papierze trafiają dokładnie do maszyny? Błędy programowania utrzymują się przez lata w kodzie produkcyjnym. Automatyczny czytnik kart, który tłumaczył opisy reakcji na równania różniczkowe, rozwiązanie Hamminga dla symulacji chemii atmosfery, zmniejsza błędy transkrypcji bez polegania na czujności człowieka.
Prawo ekonomii Hamminga
Symulacje fizyki opierają się na zweryfikowanych, matematycznie wyrażonych prawach. Symulacje chemii wymagają zweryfikowanych stałych szybkości. Symulacje biologii wymagają znanej dynamiki populacji.
Ekonomia ma, w opinii Hamminga, jedno wiarygodne prawo: nie możesz konsumować tego, co nie jest produkowane. Każde inne utrzymywane prawo ekonomii jest albo tautologią matematyczną, albo jest czasami fałszywe.
Implikacja dla symulacji: gdy prawa tła nie utrzymują się niezawodnie, cała fundacja symulacji jest podejrzana. Wysoka precyzja w obliczeniach nie kompensuje zawodnych praw w modelu.
Odpowiedź Hamminga na prośbę o uruchomienie symulacji ekologicznych: poprosił o matematycznie wyrażone reguły dla każdej interakcji, ze stałymi numerycznymi, oraz o rzeczywiste dane do porównania przebiegów testów. Osoby proszące wkrótce znalazły kogoś bardziej skłonnego do uruchomienia 'bardzo wątpliwych symulacji, które dałyby wyniki, które chcieli.'
Reguła Hamminga: zachowaj swoją uczciwość. Nie pozwól się używać dla czyjejś propagandy. Odmów symulacji strukturalnie zaprojektowanych, aby potwierdzić wniosek.
Paradoks Simpsona w danych symulacyjnych
Historia Hamminga z Berkeley: więcej mężczyzn niż kobiet zostało przyjętych do szkoły wyższej, co sugeruje dyskryminację. Żaden indywidualny dział nie wykazał dyskryminacji. Wyjaśnienie: kobiety aplikowały nieproporcjonalnie do działów o niskich wskaźnikach akceptacji; mężczyźni aplikowali nieproporcjonalnie do działów o wysokich wskaźnikach akceptacji. Statystyka zagregowana była rzeczywista i mylona.
To jest paradoks Simpsona: kombinowanie danych może tworzyć pozorne efekty nieobecne w żadnej podgrupy. Wyjścia symulacji, które agregują nad grupami, regionami lub okresami czasu mogą wykazywać tę samą patologię.
Symulacje, które zmieniają to, co modelują
Specjalna klasa niepowodzenia symulacji: badany przedmiot zmienia zachowanie w odpowiedzi na model.
Przykład rynku papierów wartościowych: jeśli powszechnie znana strategia handlowania niezawodnie przynosi zwroty powyżej rynku, uczestnicy ją przejmą, a konkurencja wyeliminuje nadmierny zwrot. Sukces modelu niszczy ważność modelu.
Przykład medyczny: eksperyment z podwójnie ślepą próbą istnieje, ponieważ lekarze, którzy wiedzieli, którzy pacjenci otrzymali leczenie i którzy otrzymali placebo, znaleźli poprawę tam, gdzie się jej spodziewali. Wiedza lekarzy skontaminowała obserwację.
Symulacja do decyzji wysokiej stawki, polityka ekonomiczna, planowanie wojskowe, zdrowie publiczne, stoi twarzą w twarz z tym problemem za każdym razem, gdy wyniki symulacji są upubliczniane lub kierują zachowaniem.
Próbkowanie & Dokładność
Twierdzenie Nyquista ustanawia fundamentalne ograniczenie na symulacji cyfrowej systemów ciągłych: potrzebujesz co najmniej dwóch próbek na okres najwyższej częstotliwości obecnej w sygnale.
W praktyce, zauważył Hamming, jednostronne próbkowanie i aliasing zmuszają wymaganie do siedmiu do dziesięciu próbek na okres najwyższej interesującej częstotliwości.
Kompromis dokładności: komputery analogowe (w erze Hamminga) osiągały co najwyżej dokładność jednej części na 10 000 na komponent. Komputery cyfrowe mogą mieć arbitralną precyzję. Ale dokładność cyfrowa wymaga odpowiedniego próbkowania, a dla sygnałów z ostrą zawartością wysokiej częstotliwości, ta szybkość próbkowania napędza koszt obliczeniowy.
Zaleta analogowa: prędkość i integracja fizyczna. Możesz podłączyć fizyczny komponent bezpośrednio do obwodu analogowego i zmierzyć jego zachowanie bez znajdowania matematycznego opisu. Dla wczesnych projektów pocisków kierowanych, to pozwoliło na szybkie wyczucie systemu, zanim istniał pełny model matematyczny.
Maszyny analogowe używane do wczesnych prac nad pociskami pochodziły z części dyrektora armatki M9. Hamming zbudował analizator różniczkowy z takiego sprzętu. Czas rozwiązania: około 30 minut na trajektorię. To tempo zmusiło głębokie myślenie między przebiegami, ograniczenie, które Hamming przyszedł uważać za strukturalną zaletę.
Odczucie vs Dokładność: Problem lądownika marsjańskiego
Hamming postawił ostre pytanie projektowe: dla trenera lotów lądownika marsjańskiego, czy symulator powinien optymalizować dokładność pozycyjną czy odczucie pojazdu?
Klasyczna analiza numeryczna optymalizuje trajektorię pozycji przy użyciu lokalnych przybliżeń wielomianowych. Ścieżka jest dokładna, ale przyspieszenie zmienia się nieciągle na każdym przedziale wielomianowym, nienaturalne 'odczucie'.
Metody w dziedzinie częstotliwości optymalizują odpowiedź częstotliwościową symulatora. Pozycja może być mniej dokładna, ale pilot prawidłowo postrzega dynamiczną odpowiedź pojazdu. Pamięć mięśniowa pilota formuje się na prawidłowej funkcji przenoszenia.
Ocena Hamminga: trener pilota powinien optymalizować odczucie. Podczas rzeczywistego lotu pilot może kompensować błędy pozycji poprzez kontrolę sprzężenia zwrotnego. Jeśli odczucie jest błędne, pilot został przeszkolony do pojazdu, który nie istnieje.
Głębsza zasada: wybór metody numerycznej koduje twierdzenie o tym, co ma znaczenie w symulacji. To twierdzenie jest osądem domeny, a nie matematycznym.