Log-Log Grafikleri & Doyuma Ulaşma
Bilişim hızı 50 yıl boyunca üstel bir büyüme eğrisi izledi. Log-doğrusal bir grafikte (log hız - doğrusal zaman), bu eğri, eğimi b = yılda büyüklük mertebeleri cinsinden büyüme oranı olan düz bir çizgi olarak görünür.
Fiziksel sınırlar yatay bir tavan belirler: moleküler boyut, ışık hızı ve ısı kısıtları tarafından belirlenen maksimum bir S_max hızı. Üstel büyüme S_max'a yaklaştıkça büyüme yavaşlamak zorundadır.
Lojistik Doyum
Tavan içeren büyüme için yaygın bir model:
S(t) = S_max / (1 + e^(−r(t − t₀)))
Bu, teknolojiye uygulanmış lojistik denklemdir. Erken zamanlarda (t << t₀): S(t) ≈ S_max × e^(r(t−t₀)) — saf üstel. Tavana yakın (t >> t₀): S(t) → S_max asimptotik olarak.
Geometri: log-doğrusal koordinatlardaki düz bir çizgi tavana yakın bükülür ve doğrusal-doğrusal koordinatlarda görüntülendiğinde S şekli oluşturur.
Büyüme Ne Zaman Doyuma Ulaşır?
Tek işlemcili hızın 1940'ta 10⁰ işlem/saniyeden başlayarak 10^(0.09t) oranında büyüdüğünü varsayın. Fiziksel tavan: S_max = 10^(12) işlem/saniye (termal ve ışık hızı kısıtlarıyla sınırlı, tek çekirdekli bir işlemci için kabaca bir tahmin).
Maksimum İletişim Yarıçapı
Bir işlemcinin saat hızı, bir döngüde iletişim kurabileceği maksimum yarıçapı belirler. Sinyaller bakırda yaklaşık 2×10⁸ m/s hızla ilerler.
Saniye cinsinden T saat periyodu için maksimum tek yönlü iletişim yarıçapı:
r_max = v × T / 2
(gidiş-dönüş için 2'ye bölün: sinyal T içinde gidip geri dönmelidir)
Saat hızı arttıkça T azalır, dolayısıyla r_max küçülür. Bu geometrik kısıt, bileşenleri daha yakın kümelenmeye zorlar (çip alanını azaltarak) ya da çip dışı iletişim için çok döngülü gecikmeyi kabul etmelerini gerektirir.
Etki Küresi
Bir saat döngüsünde erişilebilen tüm bileşenler, işlemci merkezli r_max yarıçaplı bir küre oluşturur. Hacim: V = (4/3)π r_max³.
Bileşen yoğunluğu ρ (bileşen/m³) ise, bir döngüde erişilebilen bileşen sayısı: N = ρ × V = ρ × (4/3)π r_max³.
r_max artan saat hızıyla küçüldükçe, N küpsel olarak küçülür: 2 kat saat hızı artışı, erişilebilir bileşen sayısını (1/2)³ = 1/8 oranında azaltır.
Her Saat Döngüsünde Erişilebilir Bileşenler
1993 dönemine ait bir iş istasyonu 100 MHz'de çalışır (T = 10 ns). Sinyal hızı = 2×10⁸ m/s. Bir devre kartındaki bileşen yoğunluğu ≈ 10⁸ bileşen/m³ (çipler, dirençler ve kapasitörler dahil kabaca bir tahmin).
Modern bir GPU 2 GHz'de çalışır (T = 0.5 ns).
Paralel Hızlanma Sınırı
Tek işlemcili hız fiziksel tavanlara yaklaşıyor. Sektörün yanıtı: paralel mimariler. Amdahl Yasası, paralelizmden elde edilebilecek hızlanmayı ölçer.
Amdahl Yasası
Bir programın f kesrinin paralelleştirilebildiğini ve (1−f) kesrinin seri olarak çalışması gerektiğini varsayın. p işlemciyle:
Speedup(p) = 1 / ((1−f) + f/p)
p → ∞ iken: Speedup_max = 1 / (1−f)
Seri kesim (1−f), kaç işlemci eklediğinizden bağımsız olarak ulaşılabilir hızlanma için katı bir tavan belirler.
Geometrik anlayış: p'nin bir fonksiyonu olarak Hızlanma, hiperbolik bir eğri izler. Asimptot 1/(1−f)'dir. f = 0.9 için, sonsuz işlemciyle bile maksimum hızlanma = 10. f = 0.99 için maksimum hızlanma = 100.
Hamming'in örtük dersi: paralel mimarilere olan ilgi gerçekti, ancak getiri tamamen iş yükünün ne kadar paralelleştirilebildiğine bağlıydı; pek çok paralel bilişim iyimserinin görmezden geldiği bir gerçek.
Paralel Hızlanmanın Hesaplanması
Bilimsel bir simülasyon tek bir işlemcide 1000 saniyede çalışır. Profilleme şunu ortaya koyuyor: 200 saniye seri başlatma aşamasında (paralelleştirilemiyor); 800 saniye paralel hesaplama aşamasında.