Olasılık Simpleksi
q sembol üzerindeki bir olasılık dağılımı (q−1)-boyutlu simplekste bir noktadır: pᵢ ≥ 0 ve Σ pᵢ = 1 koşulunu sağlayan tüm (p₁, ..., p_q) vektörlerinin kümesi.
q = 2 için: simpleks [0,1] doğru parçasıdır, tek bir p olasılığı ile parametrelendirilir. q = 3 için: simpleks ℝ² içinde eşkenar üçgendir. Her köşe deterministik bir dağılımdır (tüm olasılık bir sembol üzerinde); merkez uniform dağılımdır.
Entropi H(p) simpleksin her bir noktasına bir gerçek sayı atar. Fonksiyonun geometrisi birçok temel sonucu belirler.
Konkavlık
H simpleks üzerinde konkavdır: herhangi iki dağılım p ve q ile herhangi λ ∈ [0,1] için:
H(λp + (1−λ)q) ≥ λH(p) + (1−λ)H(q)
İki dağılımın karışımı bireysel entropyilerinin ağırlıklı ortalamasından en az kadar büyük entropiye sahiptir. Sezgi: iki kaynağı karıştırmak belirsizliği arttırır.
Konkavlığı Doğrulama
İkili entropi H(p) için, konkavlık grafiklerde görülebilir: eğri yukarıya doğru bükülmüş, hiçbir zaman iki noktayı bağlayan kordun altına düşmez.
Konkavlık için resmi test: ikinci türev H''(p) ≤ 0 her yerde.
H(p) = −p log₂(p) − (1−p) log₂(1−p)
H'(p) = −log₂(p) − 1/ln(2) + log₂(1−p) + 1/ln(2) = log₂((1−p)/p)
H''(p) = −1/(p ln(2)) − 1/((1−p) ln(2)) = −1/(p(1−p) ln(2)) < 0 for all p ∈ (0,1)
İkinci türev iç bölgede kesin olarak negatiftir: H kesin olarak konkavdır.
Kapasite Başaran Dağılım
Kanal kapasitesi tüm giriş dağılımları p(x) üzerinde karşılıklı bilginin maksimumu olarak tanımlanır:
C = max_{p(x)} I(X; Y)
burada I(X; Y) = H(Y) − H(Y|X) = H(X) − H(X|Y) = H(X) + H(Y) − H(X,Y).
Hata olasılığı Q olan ikili simetrik kanal için: kapasite başaran giriş dağılımı uniform dağılım p(0) = p(1) = 0.5'tir.
Neden: H(Y) uniform çıkış dağılımı tarafından maksimize edilir. Bir BSC ile, uniform giriş uniform bir çıkış verir. Başka herhangi bir giriş dağılımı H(Y)'yi daha küçük hale getirir, I(X;Y)'yi düşürür.
Geometrik olarak: karşılıklı bilgi I(X;Y) simpleks üzerinde giriş dağılımı p(x)'nin konkav bir fonksiyonudur. Konveks bir küme üzerinde konkav bir fonksiyonun maksimumu benzersiz bir noktada elde edilir (simetrik kanal için merkez).
KL Sapması
q dağılımından p dağılımına Kullback-Leibler sapması (bağıl entropi):
D(p || q) = Σᵢ pᵢ log₂(pᵢ/qᵢ)
D(p || q) ≥ 0 her zaman (Gibbs eşitsizliği). D(p || q) = 0 ancak ve ancak p = q ise.
D gerçek bir mesafe değildir: asimetrik (D(p||q) ≠ D(q||p) genel olarak) ve üçgen eşitsizliğini sağlamaz. Ancak p'nin q'dan ne kadar 'uzak' olduğunun bir ölçüsü olarak davranır olasılık uzayında.
KL sapması bilgi teorisinin her yerinde görünür:
- Karşılıklı bilgi: I(X;Y) = D(p(x,y) || p(x)p(y)). Karşılıklı bilgi, ortak dağılım ve marjinalların çarpımı arasındaki KL sapmadır — ortak dağılım bağımsızlıktan ne kadar uzak.
- Gibbs eşitsizliği: noiseless kodlama teoremi doğrudan D(p || q) ≥ 0'dan izlenir.
- Kanal kapasitesi: C = max_{p(x)} I(X;Y) = max_{p(x)} D(p(x,y) || p(x)p(y)).
KL Sapması Hesaplama
Örnek: p = (0.5, 0.5) uniform ikili, q = (0.8, 0.2) biased ikili.
D(p || q) = 0.5 log₂(0.5/0.8) + 0.5 log₂(0.5/0.2)
= 0.5 log₂(0.625) + 0.5 log₂(2.5)
≈ 0.5 × (−0.678) + 0.5 × 1.322 ≈ −0.339 + 0.661 ≈ 0.322 bits
Geometrik Mesafe Olarak Kanal Kapasitesi
Kanal kapasitesinin olasılık dağılımları uzayında geometrik bir yorumlaması vardır.
Bir kanal p(y|x) için, kapasite başaran giriş dağılımı p*(x)'i tanımlayın. Kapasite aşağıdakileri sağlar:
C = D(p*(y) || r(y))
burada p(y) = Σ p(x) p(y|x) optimal giriş altında çıkış dağılımıdır ve r(y) = argmin_r max_x D(p(y|x) || r(y)) minimum-bilgi çıkış dağılımıdır — çıkış olasılık uzayında tüm koşullu çıkış dağılımlarına eşayrı uzaklıkta (KL sapması) olan nokta.
Bu bilgi-geometrik görünümdür: kanal kapasitesi çıkış dağılım uzayında tüm p(y|x=0) ve p(y|x=1) koşullu dağılımlarını içeren en küçük KL-sapması topunun yarıçapıdır.
BSC için: p(y|x=0) = (1−Q, Q) ve p(y|x=1) = (Q, 1−Q). Simetri ile, minimum-bilgi çıkışı r(y) = (0.5, 0.5). Kapasite = D((1−Q, Q) || (0.5, 0.5)) = 1 − H(Q). Formül geometriden standart sonucu geri verir.
KL Sapmadan Kapasite
Doğrula geometrik formül: C = D(p(y|x=0) || r(y)) Q = 0.1 ile BSC için, r(y) = (0.5, 0.5).
p(y|x=0) = (0.9, 0.1) (0 gönder, 0.9 olasılık ile 0 al, 0.1 olasılık ile 1 al).
D((0.9, 0.1) || (0.5, 0.5)) = 0.9 log₂(0.9/0.5) + 0.1 log₂(0.1/0.5)
= 0.9 log₂(1.8) + 0.1 log₂(0.2)
log₂(1.8) ≈ 0.848, log₂(0.2) ≈ −2.322
= 0.9×0.848 + 0.1×(−2.322) ≈ 0.763 − 0.232 ≈ 0.531 bits
Kontrol: C = 1 − H(0.1) ≈ 1 − 0.469 = 0.531 bits ✓
Oran-Bozuntusu & Sıkıştırmanın Sınırları
Oran-bozuntusu teorisi bilgi teorisini kayıplı sıkıştırmaya genişletir. 'Bir kaynağı tam olarak temsil etmek için gereken minimum bit nedir?' sorduğu yerine şunu sorar: 'Bazı ortalama bozuntusu D'ye tolerans verildiğinde, minimum oran R(D) bit/sembol nedir?'
Oran-bozuntusu fonksiyonu R(D) konveks ve azalandır D'de: daha fazla bozuntusu toleransı daha düşük oranlar sağlar. D = 0 (kayıpsız): R(0) = H(kaynak). D arttıkça, R(D) → 0.
Geometrik olarak: R(D) (oran, bozuntusu) düzleminde bir eğri çizer. Her elde edilebilir (R, D) çifti bu eğri üzerinde veya üzerinde yer alır. Eğrinin altındaki noktalar imkansızdır — herhangi bir bozuntusu seviyesinde temel limit altına sıkıştıramazsınız.
Oran-bozuntusu teoremi (Shannon, 1959): herhangi bir R > R(D) için, beklenen bozuntusunun en fazla D olduğu kodlar mevcuttur. R < R(D) için: hiçbir kod beklenen bozuntusunun D olduğunu elde edemez. Eğri (oran, bozuntusu) uzayında geometrik bir sınırdır.