Đồ thị Log-Log & Bão hòa
Tốc độ tính toán đã theo đường cong tăng trưởng mũ trong 50 năm. Trên đồ thị log-tuyến tính (log tốc độ so với thời gian tuyến tính), điều này xuất hiện như một đường thẳng với độ dốc b = tốc độ tăng trưởng theo bậc độ lớn mỗi năm.
Các giới hạn vật lý áp đặt một trần ngang: tốc độ tối đa S_max được xác định bởi kích thước phân tử, tốc độ ánh sáng, & các ràng buộc nhiệt. Khi số mũ tiếp cận S_max, tăng trưởng phải chậm lại.
Bão hòa Logistic
Một mô hình phổ biến cho tăng trưởng với giới hạn trên:
S(t) = S_max / (1 + e^(−r(t − t₀)))
Đây là phương trình logistic áp dụng cho công nghệ. Ở thời điểm đầu (t << t₀): S(t) ≈ S_max × e^(r(t−t₀)) — thuần túy mũ. Gần giới hạn trên (t >> t₀): S(t) → S_max tiệm cận.
Hình học: một đường thẳng trên tọa độ log-tuyến tính uốn cong gần giới hạn trên, tạo ra hình chữ S khi nhìn trên tọa độ tuyến tính-tuyến tính.
Khi nào Tăng trưởng Bão hòa?
Giả sử tốc độ bộ xử lý đơn tăng trưởng theo 10^(0.09t) bắt đầu từ 10⁰ ops/giây vào năm 1940. Giới hạn vật lý: S_max = 10^(12) ops/giây (ước tính thô cho bộ xử lý đơn lõi, bị giới hạn bởi ràng buộc nhiệt & tốc độ ánh sáng).
Bán kính Giao tiếp Tối đa
Tốc độ xung nhịp của bộ xử lý xác định bán kính tối đa mà nó có thể giao tiếp trong một chu kỳ. Tín hiệu truyền với tốc độ khoảng 2×10⁸ m/s trong đồng.
Đối với chu kỳ xung nhịp T (tính bằng giây), bán kính giao tiếp một chiều tối đa:
r_max = v × T / 2
(chia cho 2 cho khứ hồi: tín hiệu phải đi ra và trở về trong T)
Khi tốc độ xung nhịp tăng, T giảm, vì vậy r_max co lại. Ràng buộc hình học này buộc các thành phần phải tập trung gần hơn — giảm diện tích chip — hoặc chấp nhận độ trễ đa chu kỳ cho giao tiếp ngoài chip.
Quả cầu Ảnh hưởng
Tất cả các thành phần có thể tiếp cận trong một chu kỳ xung nhịp tạo thành một quả cầu bán kính r_max tập trung vào bộ xử lý. Thể tích: V = (4/3)π r_max³.
Nếu mật độ thành phần là ρ (thành phần/m³), số lượng thành phần có thể tiếp cận trong một chu kỳ: N = ρ × V = ρ × (4/3)π r_max³.
Khi r_max co lại với tốc độ xung nhịp tăng, N co lại theo lập phương — tốc độ xung nhịp tăng 2× làm giảm số lượng thành phần có thể tiếp cận đi (1/2)³ = 1/8.
Thành phần Có thể Tiếp cận mỗi Chu kỳ Xung nhịp
Một máy trạm thời kỳ 1993 chạy ở 100 MHz (T = 10 ns). Tốc độ tín hiệu = 2×10⁸ m/s. Mật độ thành phần trên bảng mạch ≈ 10⁸ thành phần/m³ (ước tính thô bao gồm chip, điện trở, tụ điện).
Một GPU hiện đại chạy ở 2 GHz (T = 0,5 ns).
Giới hạn Tăng tốc Song song
Tốc độ bộ xử lý đơn tiếp cận các giới hạn vật lý. Phản ứng của ngành công nghiệp: kiến trúc song song. Định luật Amdahl định lượng sự tăng tốc có thể đạt được từ song song.
Định luật Amdahl
Giả sử một phần f của chương trình có thể được song song hóa, và phần (1−f) phải chạy tuần tự. Với p bộ xử lý:
Speedup(p) = 1 / ((1−f) + f/p)
Khi p → ∞: Speedup_max = 1 / (1−f)
Phần tuần tự (1−f) đặt một giới hạn cứng về tốc độ tăng có thể đạt được, bất kể bạn thêm bao nhiêu bộ xử lý.
Hiểu biết hình học: Tốc độ tăng như một hàm của p theo một đường cong hyperbol. Đường tiệm cận là 1/(1−f). Với f = 0,9, tốc độ tăng tối đa = 10, ngay cả với vô số bộ xử lý. Với f = 0,99, tốc độ tăng tối đa = 100.
Bài học ngầm của Hamming: sự quan tâm đến kiến trúc song song là thực sự, nhưng lợi ích phụ thuộc hoàn toàn vào mức độ có thể song song hóa của tải công việc — một thực tế mà nhiều người lạc quan về tính toán song song đã bỏ qua.
Tính toán Tăng tốc Song song
Một mô phỏng khoa học chạy trong 1000 giây trên một bộ xử lý. Phân tích hiệu suất cho thấy: 200 giây trong giai đoạn khởi tạo tuần tự (không thể song song hóa); 800 giây trong giai đoạn tính toán song song.