un — Địa lý của Tự trị Hướng ngang

un

khách

1 / ?

trở lại bài học

L = λ × W

Công Thức Dùng Ít Nhất Trong Kế Hoạch Dung Lượng

Mọi hàng đợi ổn định, bất kể cấu trúc bên trong: L = λ × W, trong đó:

- L = số trung bình của các mục trong hệ thống (đang xử lý hoặc chờ đợi)

- λ (lambda) = tốc độ đến trung bình (mục mỗi đơn vị thời gian)

- W = thời gian trung bình mỗi mục ở trong hệ thống

Đọc địa hình: vẽ λ trên trục x và W trên trục khác. Sản phẩm L là khoảng cách của hình chữ nhật họ tạo ra. Kế hoạch dung lượng sống trong hình chữ nhật này.

Tại sao nó quan trọng: bất kỳ ba trong số ba số xác định số thứ hai. Đo throughput và latency, bạn biết về occupancy. Đo occupancy và throughput, bạn biết về latency. Luật là bền vững: nó áp dụng cho yêu cầu web, bàn ăn, hàng chờ siêu thị và đường ống CPU không thay đổi.

Ba ví dụ cụ thể:

- Một dịch vụ web xử lý 200 req/s với trung bình latency là 50 ms (0.05 s). L = 200 × 0.05 = 10 đang xử lý.

- Một quán cà phê phục vụ 60 khách/giờ với trung bình thời gian lưu trú 15 phút (0.25 giờ). L = 60 × 0.25 = 15 khách trong.

- Một nhóm backend xử lý 1500 req/s với trung bình latency là 200 ms (0.2 s). L = 1500 × 0.2 = 300 đang xử lý.

Nhận xét về kích cỡ: số lượng công nhân / luồng / kết nối của một tầng phải đủ ít nhất L để giữ bước. Đặt ít hơn có nghĩa là tăng trưởng hàng đợi.

Little's Law như khoảng cách của hình chữ nhật: λ trên x, W trên y, L = khoảng cách

Tầng API của bạn xử lý 1,200 req/s với trung bình latency là 80 ms. Áp dụng Little's Law để tính L. Sau đó giải thích điều gì thay đổi (a) nếu lưu lượng tăng gấp đôi lên 2,400 req/s với latency không đổi, & (b) nếu lưu lượng vẫn giữ ở 1,200 nhưng latency tăng lên 160 ms. Scenario nào sản sinh ra L lớn hơn và điều đó có nghĩa gì về mặt hoạt động?

Tại sao Latency Nổ Ra Sau 80% Sử Dụng

Công Thức Quan Trọng Nhất Trong Điều Hành

Vẽ sử dụng trục x (0% đến 100%) & thời gian chờ trung bình trên trục y. Hình dạng là một trong những đường cong quan trọng nhất trong việc lập kế hoạch dung lượng.

Model hàng đợi M/M/1: cho một hệ thống có sự đến theo định luật Poisson (ngẫu nhiên) & thời gian phục vụ theo định luật exponential (ngẫu nhiên), thời gian chờ trung bình:

W_q = ρ / (μ × (1 - ρ))

với ρ là sử dụng (0 đến 1) & μ là tỷ lệ phục vụ.

Hình dạng của đường cong:

- Khi ρ = 0.5 (50% sử dụng), thời gian chờ là nhỏ (1 thời gian phục vụ).

- Khi ρ = 0.7 (70% sử dụng), thời gian chờ là ~2.3 thời gian phục vụ.

- Khi ρ = 0.8 (80% sử dụng), thời gian chờ là ~4 thời gian phục vụ.

- Khi ρ = 0.9 (90% sử dụng), thời gian chờ là ~9 thời gian phục vụ.

- Khi ρ = 0.95 (95% sử dụng), thời gian chờ là ~19 thời gian phục vụ.

- Khi ρ = 1.0 (100% sử dụng), thời gian chờ là vô hạn.

Gối: quanh 80% sử dụng, đường cong uốn lại đột ngột. Dưới gối, dung lượng thoải mái; trên gối, trễ tăng nhanh hơn sử dụng.

Đọc thực tế: đặt mục tiêu 70% sử dụng cho trạng thái ổn định, không bao giờ 100%. 30% 'không gian' không lãng phí; nó là giá của trễ có giới hạn.

Đường cong hàng đợi với gối ở 80% sử dụng

Cỡ Hóa Lượng Qua Gối

Hai kịch bản:

Kịch bản A: 10 bản sao đang chạy ở 60% CPU. Latency p99 = 100 ms.

Kịch bản B: cùng đội ngũ đang chạy ở 90% CPU do tăng trưởng giao dịch. p99 = 600 ms.

Cùng đội, cùng mã, chỉ có sử dụng thay đổi.

Vui lòng giải thích tại sao thời gian trễ của kịch bản B là 6 lần tồi tệ hơn chỉ với một tăng 1.5 lần sử dụng, sử dụng hình dạng hình học của đường cong hàng đợi. Sau đó đề xuất: sử dụng nào nên đội đội thêm dung lượng và tại sao ngưỡng đó thay vì chờ vi phạm SLO thực tế?

Kích & Gắn Kép Vào Vòng Lửa

Tích Hợp

Bạn có thể áp dụng Định lý Little dưới dạng hình chữ nhật, đọc đường cong chờ và gối của nó, và liên kết cả hai với quyết định về khả năng.

Áp dụng cả hai.

Một tầng backend xử lý 2,000 req/s với độ trễ trung bình là 50 ms mỗi bản sao có khả năng 80 req/s với 70% CPU. Tỷ lệ nỗ lực 2x; bạn muốn sống sót sau 3 sự cố bản sao cùng lúc.

Tính: (1) L sử dụng Luật Little ở điểm chuẩn; (2) số lượng bản sao sử dụng công thức bài học (tối đa × bão / mỗi-bản-sao) + không gian; (3) ở mức sử dụng nào trên toàn đội nên kích hoạt tự động tăng dung lượng và giải thích ngưỡng sử dụng sử dụng đường cong hàng đợi.

Ghi chú đồng hành

Lesson này về hình học giải thích bài học về Tăng khả năng ngang không stateless dưới dạng hình học lượng tử.

Ghi chú đồng hành tiếp theo, geometry_of_ingress_egress_separation, giải thích sự phân chia ranh giới mạng như một đồ thị hai màu với một đỉnh cắt mà sự phân chia loại bỏ.

Làm tốt.