Pertanyaan Sentral
Hamming membuka Bab 19 dengan kutipan langsung dari Konferensi Simulasi Komputer Musim Panas 1975:
> Karena keputusan penting harus mengandalkan simulasi, sangat penting bahwa validitasnya diuji, dan bahwa para pendukungnya mampu menggambarkan tingkat representasi autentik yang telah mereka capai.
Formulasinya atas pertanyaan yang sama, lebih tajam:
> Mengapa seharusnya ada yang percaya simulasi relevan?
Jangan memulai simulasi sampai Anda telah merenungkan pertanyaan ini dengan serius. Sering kali ada tekanan praktis untuk mulai menghitung segera — waktu, uang, momentum organisasi. Tekanan tersebut tidak mengubah pertanyaan.
Pengalaman Hamming: ketika dia mengajukan pertanyaan validitas tentang simulasi, jawabannya secara konsisten mengutip:
- Berapa banyak tenaga kerja yang diinvestasikan dalam pekerjaan
- Seberapa besar dan cepat komputernya
- Seberapa penting masalahnya
Tidak satu pun dari jawaban itu membahas validitas. Mereka adalah argumen sosial, bukan argumen teknis.
Cerita penerbangan luar angkasa: seorang direktur simulasi mengklaim keandalan 99,44% untuk peluncuran. Hamming menekan: keandalan apa? Setelah terjepit, direktur mengakui bahwa angkanya adalah keandalan simulasi, bukan penerbangan aktual. Dia lebih lanjut mengakui bahwa direktur NASA yang menyetujui peluncuran tidak memahami perbedaannya — dan dia tidak mengoreksi kesalahpahaman itu.
Perpaduan antara keandalan simulasi dengan keandalan sistem adalah salah satu kesalahan paling berbahaya dalam praktik rekayasa.
Apa yang Validasi Sebenarnya Butuhkan
Hamming mengumpulkan daftar periksa untuk mengevaluasi keandalan simulasi. Setiap pertanyaan harus dijawab sebelum output simulasi mendapatkan bobot keputusan:
1. Apakah teori latar belakang mendukung hukum yang diasumsikan? Simulasi fisika bergantung pada persamaan terverifikasi; simulasi ekonomi sering tidak.
2. Bisakah efek kecil tetapi vital hilang? Contoh pelatih pilot: sangat baik untuk fisika yang diketahui; berbahaya jika pesawat baru memiliki interaksi yang belum digabungkan.
3. Apakah data input dapat diandalkan? Ketidakpastian dalam input menyebar melalui perhitungan. Ketahui dari mana data berasal.
4. Apakah simulasi stabil atau tidak stabil? Bidang arah yang tidak stabil memperkuat kesalahan input; yang stabil meredam mereka.
5. Pemeriksaan silang apa terhadap pengalaman masa lalu yang diketahui tersedia?
6. Bisakah pemeriksaan internal diproduksi? Konservasi massa, energi, momentum sudut, atau invarian lainnya. Tanpa redundansi, tidak ada deteksi kesalahan yang mungkin.
7. Apakah tanda-tanda di atas kertas masuk ke mesin dengan akurat? Kesalahan pemrograman bertahan selama bertahun-tahun dalam kode produksi. Pembaca kartu otomatis yang menerjemahkan deskripsi reaksi menjadi persamaan diferensial — solusi Hamming untuk simulasi kimia atmosfer — mengurangi kesalahan transkripsi tanpa mengandalkan kewaspadaan manusia.
Hukum Ekonomi Hamming
Simulasi fisika bergantung pada hukum yang terverifikasi & diekspresikan secara matematis. Simulasi kimia memerlukan konstanta tingkat yang terverifikasi. Simulasi biologi memerlukan dinamika populasi yang diketahui.
Ekonomi memiliki, menurut pandangan Hamming, satu hukum yang dapat diandalkan: Anda tidak dapat mengonsumsi apa yang tidak diproduksi. Setiap hukum ekonomi yang diklaim lainnya adalah tautologi matematis atau kadang-kadang salah.
Implikasi untuk simulasi: ketika hukum latar belakang tidak berlaku dengan dapat diandalkan, seluruh fondasi simulasi mencurigakan. Presisi tinggi dalam perhitungan tidak mengkompensasi hukum yang tidak dapat diandalkan dalam model.
Respons Hamming ketika diminta menjalankan simulasi ekologis: dia meminta aturan yang diekspresikan secara matematis untuk setiap interaksi, dengan konstanta numerik, & untuk data nyata untuk membandingkan lari tes terhadapnya. Para peminta segera menemukan seseorang yang lebih bersedia menjalankan 'simulasi yang sangat diragukan yang akan memberikan hasil yang mereka inginkan.'
Aturan Hamming: jaga integritas Anda. Jangan biarkan diri Anda digunakan untuk propaganda orang lain. Tolak simulasi yang dirancang secara struktural untuk mengkonfirmasi kesimpulan.
Simpson's Paradox dalam Data Simulasi
Cerita Berkeley Hamming: lebih banyak pria daripada wanita yang diterima di sekolah pascasarjana, menunjukkan diskriminasi. Tidak ada departemen individual yang menunjukkan diskriminasi. Penjelasannya: wanita melamar secara tidak proporsional ke departemen dengan tingkat penerimaan rendah; pria melamar secara tidak proporsional ke departemen dengan tingkat penerimaan tinggi. Statistik agregat itu nyata, & menyesatkan.
Ini adalah Simpson's Paradox: menggabungkan data dapat menciptakan efek yang jelas tidak ada di subkelompok apapun. Output simulasi yang mengagregasi di atas kelompok, wilayah, atau periode waktu dapat menunjukkan patologi yang sama.
Simulasi yang Mengubah Apa yang Mereka Modelkan
Kelas khusus dari kegagalan simulasi: subjek mengubah perilaku sebagai respons terhadap model.
Contoh pasar saham: jika strategi perdagangan yang diketahui luas secara konsisten menghasilkan pengembalian di atas pasar, peserta akan mengadopsinya, & kompetisi akan menghilangkan pengembalian berlebih. Kesuksesan model menghancurkan validitas model.
Contoh medis: eksperimen double-blind ada karena dokter yang tahu pasien mana yang menerima perlakuan & pasien mana yang menerima plasebo menemukan perbaikan di mana mereka mengharapkannya. Pengetahuan dokter mengkontaminasi pengamatan.
Simulasi untuk keputusan berisiko tinggi — kebijakan ekonomi, perencanaan militer, kesehatan masyarakat — menghadapi masalah ini setiap kali output simulasi dipublikasikan atau membimbing perilaku.
Pengambilan Sampel & Akurasi
Teorema Nyquist menetapkan hambatan fundamental pada simulasi digital dari sistem kontinu: Anda memerlukan setidaknya dua sampel per periode dari frekuensi tertinggi yang ada dalam sinyal.
Dalam praktik, Hamming mencatat, pengambilan sampel satu sisi & aliasing mendorong persyaratan menjadi tujuh hingga sepuluh sampel per periode dari frekuensi tertinggi yang diminati.
Pertukaran akurasi: komputer analog (di era Hamming) mencapai paling banyak satu bagian dalam akurasi 10.000 per komponen. Komputer digital dapat membawa presisi arbitrer. Tetapi akurasi digital memerlukan pengambilan sampel yang memadai — & untuk sinyal dengan konten frekuensi tinggi yang tajam, tingkat pengambilan sampel itu mengarahkan biaya perhitungan.
Keunggulan analog: kecepatan & integrasi fisik. Anda dapat menghubungkan komponen fisik langsung ke dalam rangkaian analog & mengukur perilakunya tanpa menemukan deskripsi matematis. Untuk desain rudal terpandu awal, ini memungkinkan kecepatan terasa untuk sistem sebelum model matematis lengkap ada.
Mesin analog yang digunakan untuk pekerjaan rudal awal berasal dari bagian pengarah senjata M9. Hamming membangun analis diferensial dari peralatan semacam itu. Waktu solusi: sekitar 30 menit per lintasan. Kecepatan itu memaksa pemikiran mendalam antara jalannya — kendala yang kemudian Hamming anggap sebagai keuntungan struktural.
Merasa versus Akurasi: Masalah Pendaratan Mars
Hamming mengajukan pertanyaan desain yang tajam: untuk pelatih penerbangan pendaratan Mars, haruskah simulator mengoptimalkan untuk akurasi posisi atau untuk kesan kendaraan?
Analisis numerik klasik mengoptimalkan lintasan posisi menggunakan pendekatan polinomial lokal. Jalurnya akurat, tetapi perubahan akselerasi secara diskontinyu di setiap interval polinomial — sebuah 'kesan' yang tidak wajar.
Metode domain frekuensi mengoptimalkan respons frekuensi simulator. Posisi mungkin kurang akurat, tetapi pilot merasakan respons dinamis kendaraan dengan benar. Memori otot pilot terbentuk pada fungsi transfer yang benar.
Penilaian Hamming: pelatih pilot harus mengoptimalkan untuk kesan. Selama penerbangan aktual, pilot dapat mengkompensasi kesalahan posisi melalui kontrol umpan balik. Jika kesan salah, pilot telah dilatih untuk kendaraan yang tidak ada.
Prinsip yang lebih dalam: pilihan metode numerik menyandikan klaim tentang apa yang penting dalam simulasi. Klaim itu adalah penilaian domain, bukan yang matematis.