Membaca Ekor Panjang
Latensi Hidup pada Kurva, Bukan pada Angka
Latensi rata-rata menyembunyikan apa yang dialami pengguna. Layanan nyata menghasilkan distribusi: kurva yang menunjukkan berapa banyak permintaan yang memakan waktu berapa lama.
Tiga titik pada kurva itu membawa sebagian besar makna operasional:
- p50 (median): bagian tengah dari distribusi. Setengah permintaan selesai lebih cepat, setengah lebih lambat. Menggambarkan pengalaman khas.
- p99: persentil ke-99. Hanya 1% permintaan yang memakan waktu lebih lama dari ini. Menggambarkan pengalaman terburuk bagi pengguna khas.
- p99.9: hanya 0,1% permintaan yang memakan waktu lebih lama. Menggambarkan pengalaman terburuk bagi pengguna power yang sering mengakses layanan.
Wawasan geometri: distribusi latensi hampir selalu memiliki ekor kanan yang panjang. Kurva naik cepat ke puncak di sekitar median, kemudian turun perlahan ke arah kanan, sering dengan benjolan kecil jauh dari rata-rata. Benjolan itu mewakili pengguna paling lambat: mereka yang menulis tiket marah.
Mengapa rata-rata menyesatkan: layanan dengan median 50 ms & p99 5.000 ms memiliki celah 100x antara pengalaman khas & ekor. Mean aritmatika mungkin jatuh pada 100 ms, menyembunyikan bencana sepenuhnya. Mean aritmatika adalah proyeksi titik tunggal dari bentuk 2D: hampir semua informasi bentuk hilang.
Masalah perkalian persentil: permintaan yang menyentuh 10 layanan backend, masing-masing dengan p99 100 ms, memiliki p99 kira-kira 600 ms (bukan 100 ms). Ekor lambat bertambah. Inilah mengapa buku SRE memperingatkan: 'hati-hati dengan yang paling lambat dari N'. Saat N tumbuh, latensi ekor Anda meningkat dengan cepat.
Matematika Latensi Ekor
Layanan A memiliki alur permintaan yang menyebar ke 5 layanan backend secara paralel & menunggu semua respons. Setiap backend memiliki latensi p99 100 ms.
Penipisan Anggaran sebagai Kemiringan
Memplot Anggaran Sepanjang Waktu
Anggaran kesalahan yang diplot pada sumbu 2D (waktu pada x, anggaran tersisa pada y) mengungkapkan kesehatan layanan sekilas. Bentuk kurva penipisan membawa informasi yang sama yang akan disampaikan sepuluh dasbor secara individual.
Tiga bentuk referensi:
- Penipisan linear sehat: anggaran turun dalam garis lurus sebanding dengan waktu yang telah berlalu. Pada hari ke-14 dari jendela 28 hari, setengah anggaran harus tersisa. Ini adalah target SLO yang terlihat.
- Pembakaran cepat: kemiringan curam ke bawah. Menunjukkan masalah keandalan aktif. Jika kemiringannya cukup curam, anggaran habis sebelum jendela disetel ulang, memicu kebijakan anggaran kesalahan.
- Kurva yang disembuhkan: segmen datar atau naik. Layanan berkinerja lebih baik dari SLO-nya. Anggaran yang tersisa tumbuh seiring waktu, membuka ruang untuk peluncuran berisiko.
Tingkat pembakaran adalah kemiringan garis penipisan, ternormalisasi: tingkat pembakaran 1 berarti membakar anggaran persis secepat waktu berlalu (selaras sempurna dengan SLO). Tingkat pembakaran 10 berarti membakar 10x lebih cepat dari yang diizinkan: seluruh anggaran bulanan akan habis dalam 2,8 hari pada tingkat ini.
Peringatan multi-jendela multi-tingkat-pembakaran: Buku kerja SRE Google merekomendasikan peringatan pada kondisi gabungan seperti 'tingkat pembakaran di atas 14,4 selama jam terakhir DAN di atas 14,4 selama 5 menit terakhir'. Geometrinya: kemiringan curam yang berkelanjutan, bukan hanya lonjakan singkat. Bentuk ini menyaring guncangan sementara sambil menangkap ancaman penipisan nyata.
Membaca Tingkat Pembakaran
SLO tim Anda adalah 99,9% selama 28 hari. Pada hari ke-7, Anda telah menggunakan 60% dari anggaran kesalahan Anda. Tingkat pembakaran saat ini selama 24 jam terakhir adalah 8.
Layanan sebagai Grafik Berarah
Produksi sebagai DAG
Layanan modern berjalan sebagai grafik ketergantungan. Setiap layanan adalah simpul. Setiap panggilan dari layanan A ke layanan B adalah tepi berarah dari A ke B. Gambaran lengkapnya membentuk grafik berarah (kadang-kadang DAG, kadang-kadang dengan siklus melalui percobaan ulang async).
Properti geometri kritis:
- Out-degree: berapa banyak layanan yang diketergantungan oleh simpul. Out-degree yang lebih tinggi berarti lebih banyak mode kegagalan hulu. Layanan yang bergantung pada 12 backend gagal jika salah satu dari 12 itu gagal.
- In-degree (fan-in): berapa banyak layanan yang bergantung pada simpul ini. In-degree yang lebih tinggi berarti satu kegagalan di sini meluas luas. Database dengan 30 layanan dependen memiliki radius ledakan terbesar.
- Sentralitas betweenness: berapa banyak jalur terpendek yang melewati simpul. Node betweenness tinggi adalah titik kemacetan. Layanan autentikasi & API inti biasanya mendapat skor tinggi.
- Komponen yang terhubung kuat: kelompok layanan yang membentuk siklus. Jika A memanggil B & B memanggil A, Anda memiliki siklus. Siklus memperumit pemulihan kegagalan: memulai layanan apa pun memerlukan yang lain untuk sudah bekerja.
Radius ledakan adalah konsep geometri yang mendorong investasi keandalan. Radius ledakan kegagalan adalah subgraf layanan dependen yang dipengaruhinya. Rekayasa keandalan berinvestasi berat di simpul dengan radius ledakan terbesar. Cara termurah untuk meningkatkan keandalan sistem keseluruhan sering kali menambah redundansi atau degradasi anggun pada simpul betweenness tertinggi.
Penalaran Radius Ledakan
Layanan konsumen bergantung pada: AuthService, UserDB, ProductCatalog, PaymentGateway, RecommendationEngine, EmailService, AnalyticsService. AuthService memiliki 47 layanan lain yang bergantung padanya. EmailService memiliki 3 layanan lain yang bergantung padanya. RecommendationEngine memiliki 2 layanan lain yang bergantung padanya.
Geometri Informasi Dasbor
Piksel Adalah Real Estat
Dasbor adalah permukaan 2D dengan area terbatas. Setiap piksel yang dialokasikan untuk satu sinyal adalah piksel yang tidak dialokasikan untuk yang lain. Desain dasbor adalah masalah geometri: atur informasi paling relevan keputusan dalam area visual terkecil sambil mempertahankan hubungan spasial yang membantu pengakuan.
Pola membaca: pembaca Barat memindai berbentuk F (atas-kiri terlebih dahulu, kemudian di seluruh, kemudian ke bawah). Sinyal paling penting berada di atas-kiri. Bawah-kanan mendapat perhatian paling sedikit.
Pengelompokan Gestalt: sinyal dari layanan yang sama termasuk dalam grup visual yang sama. Latensi, lalu lintas, kesalahan, & saturasi untuk satu layanan termasuk dalam kisi 2x2, bukan tersebar di seluruh layar. Kedekatan visual mengkode hubungan logis.
Pengkodean warna: merah untuk kesalahan, kuning untuk saturasi, hijau untuk rentang sehat. Pilihan warna adalah konvensi, bukan acak. Membaliknya membebankan beban kognitif pada setiap pandangan selama insiden.
Penskalaan sumbu-Y: grafik yang diskalakan 0-100% terlihat tenang bahkan selama penggandaan lalu lintas. Grafik yang diskala-otomatis ke nilai terbaru terlihat mengkhawatirkan selama variasi normal. Kedua pilihan memiliki kegunaan yang sesuai; pilihannya adalah geometri, bukan kosmetik.
Kepadatan informasi: terlalu sedikit sinyal membuat tim buta terhadap apa yang salah. Terlalu banyak mengubur sinyal dalam kebisingan. Rasio tinta-data Edward Tufte berlaku: maksimalkan rasio tinta yang menyampaikan informasi ke tinta yang mendekorasi. Minimalisme gaya sparkline mengalahkan widget berantakan sekilas.
Merancang untuk Pandangan Pertama
Tim Anda merancang satu dasbor utama untuk layanan yang memiliki 8 SLI kritis di 4 ketergantungan backend. Dasbor harus menjawab pertanyaan pertama insinyur jaga pada pukul 3 pagi dalam waktu kurang dari 5 detik: 'apakah ada yang terbakar, & jika demikian, di mana?'
Geometri SRE: Penutupan
Bentuk Yang Menjalankan Produksi
Anda telah melalui empat struktur geometri yang berjalan di bawah praktik SRE:
- Distribusi latensi sebagai kurva ekor panjang di mana titik persentil membawa lebih banyak kebenaran daripada rata-rata
- Kerucut anggaran kesalahan di mana kemiringan penipisan mengungkapkan kesehatan layanan lebih baik daripada angka yang tersisa
- Grafik ketergantungan layanan di mana radius ledakan & sentralitas mengarahkan investasi keandalan
- Tata letak dasbor sebagai real estat 2D di mana alokasi piksel adalah masalah geometri dengan konsekuensi operasional
Pemikiran geometri adalah apa yang memisahkan SRE dari pekerjaan operasi generik. Seorang ops engineer membaca angka. SRE membaca bentuk. Bentuk mengkodekan informasi yang tidak dapat ditangkap oleh angka tunggal: kemiringan tingkat pembakaran, kegemukan ekor, sentralitas simpul, gestalt panel dasbor.
Pelajaran pendamping tentang SRE itu sendiri mencakup praktik-praktiknya. Pelajaran ini mencakup geometri di bawahnya. Bersama-sama mereka membentuk scaffold visual & konseptual dari rekayasa keandalan modern.