Чому затримка вибухає за 80% використання

Найважливіша крива в плануванні місткості

Побудуйте використання на осі x (0% до 100%) та середню затримку на осі y. Форма, яка виникає, — одна з найбільш впливових кривих в операціях: вона пояснює, чому команди розраховують використання набагато нижче 100%, чому зарезервований запас дозволу — це не витрачена, а чому системи, що працюють «ефективно» при високому використанні, падають без попередження.

Крива черговості M/M/1: для системи з надходженнями Пуассона (випадково) та часами обслуговування експоненціального розподілу (випадково), середній час очікування слідує формулі:

W_q = ρ / (μ(1-ρ))

де ρ (ро) — це використання (0 до 1) & μ — швидкість обслуговування. Знаменник (1-ρ) — це основна їжа: коли ρ наближається до 1, знаменник наближається до 0, & час очікування наближається до нескінченності.

Числові приклади (множник затримки проти ρ для M/M/1):

- ρ = 0,5: множник затримки 1,0 (базовий)

- ρ = 0,7: множник затримки ~2,3

- ρ = 0,8: множник затримки ~4,0

- ρ = 0,9: множник затримки ~9,0

- ρ = 0,95: множник затримки ~19,0

- ρ = 0,99: множник затримки ~99,0

Коліно знаходиться близько 70-80% використання. Нижче колінна затримка зростає повільно при додаванні навантаження. Вище колінна затримка вибухає нелінійно. Саме тому канонічне SRE правило таке: розраховуйте стійкий стан використання нижче 80%, ніколи не працюйте постійно вище 90%.

Чому традиційні команди операцій цінувати занижують це: сервер на 60% CPU «виглядає зайнятим», але має комфортний запас затримки. Сервер на 90% CPU «виглядає продуктивним», але знаходиться в одному стрибку навантаження від катастрофи затримки. Геометрична правда: нахил кривої — це реальна загроза, а не його поточне значення y.

Читання кривої

Команда працює зі службою на 85% використання CPU в стійкому стані. Поточна затримка p99 — 200 мс. Вони розглядають додавання 30% більше трафіку для консолідації робочого навантаження з іншої служби, яка виводиться з експлуатації.

Нахил, перетин, & конус прогнозу

Читання зростання з нахилу

Прогнозування попиту зводиться (у багатьох випадках) до проведення правої лінії через історичні дані. Геометричні властивості цієї лінії: нахил, перетин, & конус невизначеності, кодують весь прогноз.

Лінійний тренд (y = mx + b): відповідний для коротких вікон або справді лінійних процесів. Нахил m — це швидкість зростання за одиницю часу. Перетин b — це стартова величина. Корисно, коли зростання стійке. Тенденція недооцінити, коли процес насправді складається.

Експоненціальний тренд (y = b × e^(mx)): відповідний для складеного зростання: вірусна адаптація, мережеві ефекти користувачів, мультиплікативна сезонність. На осі y з логарифмічною шкалою експоненціальне зростання стає лінійним, що полегшує оцінку нахилу. Нахил m на логарифмічній шкалі — це швидкість зростання за одиницю часу.

Кусково-лінійна: відповідна, коли зростання має різні режими. Стартап можна зростати повільно протягом 18 місяців, потім мати вірусний перегин, що виробляє 6 місяців вибухового зростання, потім стабілізуватися. Три лінійні сегменти підходять краще, ніж будь-яка одна крива.

Конус прогнозу: центральна оцінка плюс верхня та нижня межі, намальовані як розширюючийся конус у майбутнє. Ширина конуса зростає з часом, оскільки невизначеність складується. Прогноз на 4 тижні може мати ±10% меж; прогноз на 12 місяців часто має ±50% або більше.

Розкладання сезонності: реальний попит поєднує тренд + сезонний цикл + шум. Бібліотеки статистики (statsmodels, Prophet) розкладають серію на ці три компоненти, дозволяючи прогнозуватися тренду окремо від сезонної картини. Геометрично, тренд — це основний дрейф, сезонність — це періодична пульсація зверху, & шум — це залишкова коливання.

Вибір моделі тренду

У вас є 24 місяці щомісячних обсягів запитів. Місяці 1-12 зросли з 1M до 2M (лінійно-виглядаючи, +83K/місяць). Місяці 13-18 зросли з 2M до 4M (крутіше, +330K/місяць). Місяці 19-24 зросли з 4M до 12M (набагато крутіше). Маркетинг підтверджує вірусну функцію продукту, запущену в місяці 13, яка керує перегином.

Місткість проти попиту як 2D геометрія

Графік, всередині якого живе кожна команда планування

Побудуйте час на осі x. Побудуйте попит та місткість на осі y як два окремі рядки. Вертикальний проміжок між ними в будь-якій точці часу — це запас дозволу. 2D площа між кривими — це конверт запасу дозволу.

Три опорні форми:

- Здоровий конверт: лінія місткості комфортно залишається вище лінії попиту. Проміжок може звужуватися під час піків, але ніколи не зникає. Конверт — це смуга безпеки.

- Звужуючийся конверт: місткість зростає повільніше, ніж попит. Проміжок звужується з часом. Точка перетину в майбутньому — це коли система вичерпує запас дозволу: дата, до якої команда повинна додати місткість.

- Інвертований конверт: попит перевищує місткість. Система знаходиться на території інциденту. Вертикальна величина інверсії — це дефіцит, який повинен бути обслужений якось (переповнення черги, показники помилок, вплив на клієнта).

Стандартна діаграма планування місткості наносить на графік:

- Остання історія попиту (суцільна синя лінія)

- Прогноз попиту з межами (пунктирна лінія + затінена конус)

- Поточна місткість (суцільна зелена лінія)

- Запановані збільшення місткості з датами доставки (крокова функція)

- Дата перетину, де прогноз попиту перетинає поточну місткість: це дедлайн для наступного забезпечення

Правило візуального рішення: тримайте крокову функцію місткості вище верхньої межі конуса прогнозу в усі часи. Не забезпечуйте центральну оцінку; забезпечуйте верхню межу. Вартість перепровізування кінцева (деяка вільна місткість); вартість недостатнього забезпечення необмежена (втрачені користувачі, каскадний збій, шкода репутації).

Читання конверту

Ваша діаграма місткості показує: поточний попит становить 1500 RPS, зростаючи на 20% на місяць. Поточна місткість — 2500 RPS. Новий набір серверів (+1500 RPS місткості) прибуває за 8 тижнів. Конус прогнозу має ±15% меж на горизонті 8 тижнів.

Геометрія місткості: Завершення

Форми, які передбачають майбутнє

Ви пройшли через чотири геометричні структури, які розташовуються під плануванням місткості:

- Little's Law (L = λ × W) як площа прямокутника, що визначає стійкий стан заповнення

- Крива черговості з її коліном на 80% використання, кодуючи нелінійну вартість роботи в гарячому стані

- Нахили тренду та конуси прогнозу, які перетворюють історичні дані в дієві прогнози

- Конверти запасу дозволу як 2D графіки місткості проти попиту, з датами перетину, що позначають дедлайни забезпечення

Планування місткості — це, у своїй візуальній основі, дисципліна тримання однієї кривої безпечно вище іншої протягом часу. Цифри — це прикраса; форми несуть правду. Інженер з питань місткості, який правильно читає криву черговості, виловить проблеми, які інформаційна панель CPU приховує, доки система вже горить.

Супутній урок з планування місткості охоплював практики: вимірювання, прогнозування, тести на стелю, запас дозволу, & масштабування. Цей урок охоплював геометрію під ними. Разом вони формують візуальне та аналітичне обрамлення запуску служб, які масштабуються без сюрпризів.