السمبليكس الاحتمالي
توزيع احتمالي على q رموز هو نقطة في السمبليكس (q−1)-البعد: مجموعة جميع المتجهات (p₁, ..., p_q) مع pᵢ ≥ 0 و Σ pᵢ = 1.
بالنسبة إلى q = 2: السمبليكس هو قطعة خط [0,1]، محددة بدالة احتمال واحد p. بالنسبة إلى q = 3: السمبليكس هو مثلث متساوي الأضلاع في ℝ². كل زاوية توزيع حتمي (جميع الاحتمالية على رمز واحد)؛ المركز هو التوزيع المنتظم.
الإنتروبيا H(p) تعيّن عدداً حقيقياً لكل نقطة في السمبليكس. تحدد هندسة الدالة العديد من النتائج الأساسية.
التقعر
H مقعرة على السمبليكس: لأي توزيعين p و q وأي λ ∈ [0,1]:
H(λp + (1−λ)q) ≥ λH(p) + (1−λ)H(q)
للخليط من توزيعين إنتروبيا لا تقل عن المتوسط المرجح لإنتروبياتهما الفردية. الحدس: خلط مصدرين يزيد عدم اليقين.
التحقق من التقعر
بالنسبة إلى الإنتروبيا الثنائية H(p)، يكون التقعر واضحاً في الرسم البياني: المنحنى محدب للأعلى، لا ينخفض أبداً عن أي وتر يربط نقطتين.
الاختبار الرسمي للتقعر: المشتقة الثانية H''(p) ≤ 0 في كل مكان.
H(p) = −p log₂(p) − (1−p) log₂(1−p)
H'(p) = −log₂(p) − 1/ln(2) + log₂(1−p) + 1/ln(2) = log₂((1−p)/p)
H''(p) = −1/(p ln(2)) − 1/((1−p) ln(2)) = −1/(p(1−p) ln(2)) < 0 لجميع p ∈ (0,1)
المشتقة الثانية سالبة صارمة في كل مكان في الداخل: H مقعرة صارمة.
التوزيع الذي يحقق السعة
يتم تعريف سعة القناة بأنها أقصى معلومة متبادلة على جميع توزيعات الإدخال p(x):
C = max_{p(x)} I(X; Y)
حيث I(X; Y) = H(Y) − H(Y|X) = H(X) − H(X|Y) = H(X) + H(Y) − H(X,Y).
بالنسبة إلى قناة ثنائية متماثلة مع احتمالية خطأ Q: التوزيع الذي يحقق السعة هو التوزيع المنتظم p(0) = p(1) = 0.5.
لماذا: H(Y) يتم تعظيمه بالتوزيع الناتج المنتظم. مع قناة ثنائية متماثلة، يعطي إدخال منتظم إخراج منتظم. أي توزيع إدخال آخر يجعل H(Y) أصغر، مما يقلل I(X;Y).
هندسياً: المعلومة المتبادلة I(X;Y) دالة مقعرة لتوزيع الإدخال p(x) على السمبليكس. الحد الأقصى لدالة مقعرة على مجموعة محدبة يتحقق عند نقطة فريدة (المركز، لقناة متماثلة).
تباعد كولبك-ليبلر
تباعد كولبك-ليبلر (الإنتروبيا النسبية) من التوزيع q إلى التوزيع p:
D(p || q) = Σᵢ pᵢ log₂(pᵢ/qᵢ)
D(p || q) ≥ 0 دائماً (عدم المساواة غيبز). D(p || q) = 0 إذا و فقط إذا كان p = q.
D ليست مسافة حقيقية: فهي غير متماثلة (D(p||q) ≠ D(q||p) بشكل عام) و لا تلبي عدم المساواة في المثلث. لكنها تعمل كمقياس لمدى 'بعد' p عن q في فضاء الاحتمالية.
يظهر تباعد كولبك-ليبلر في جميع أنحاء نظرية المعلومات:
- المعلومة المتبادلة: I(X;Y) = D(p(x,y) || p(x)p(y)). المعلومة المتبادلة هي تباعد كولبك-ليبلر بين التوزيع المشترك و حاصل المهامش — مدى بعد المشترك عن الاستقلال.
- عدم مساواة غيبز: ينتج مباشرة من D(p || q) ≥ 0.
- سعة القناة: C = max_{p(x)} I(X;Y) = max_{p(x)} D(p(x,y) || p(x)p(y)).
حساب تباعد كولبك-ليبلر
مثال: p = (0.5, 0.5) موحد ثنائي، q = (0.8, 0.2) موحد متحيز.
D(p || q) = 0.5 log₂(0.5/0.8) + 0.5 log₂(0.5/0.2)
= 0.5 log₂(0.625) + 0.5 log₂(2.5)
≈ 0.5 × (−0.678) + 0.5 × 1.322 ≈ −0.339 + 0.661 ≈ 0.322 بت
سعة القناة كمسافة هندسية
سعة القناة لها تفسير هندسي في فضاء التوزيعات الاحتمالية.
بالنسبة إلى قناة p(y|x)، عرّف توزيع الإدخال الذي يحقق السعة p*(x). السعة تلبي:
C = D(p*(y) || r(y))
حيث p(y) = Σ p(x) p(y|x) هو التوزيع الناتج تحت الإدخال الأمثل، و r(y) = argmin_r max_x D(p(y|x) || r(y)) هو التوزيع الناتج الأدنى معلومات — النقطة في فضاء الاحتمالية الناتج الأقرب (في تباعد كولبك-ليبلر) لجميع التوزيعات الشرطية بيانياً.
هذه هي الرؤية الهندسية المعلومات: سعة القناة هي نصف قطر أصغر كرة تباعد كولبك-ليبلر في فضاء التوزيع الناتج التي تحتوي جميع التوزيعات الشرطية p(y|x=0) و p(y|x=1).
بالنسبة إلى القناة الثنائية المتماثلة: p(y|x=0) = (1−Q, Q) و p(y|x=1) = (Q, 1−Q). بالتماثل، التوزيع الناتج الأدنى معلومات r(y) = (0.5, 0.5). السعة = D((1−Q, Q) || (0.5, 0.5)) = 1 − H(Q). الصيغة تسترجع النتيجة المعروفة من الهندسة.
السعة من تباعد كولبك-ليبلر
تحقق من الصيغة الهندسية: C = D(p(y|x=0) || r(y)) لقناة ثنائية متماثلة مع Q = 0.1، r(y) = (0.5, 0.5).
p(y|x=0) = (0.9, 0.1) (أرسل 0، استقبل 0 مع الاحتمالية 0.9، استقبل 1 مع الاحتمالية 0.1).
D((0.9, 0.1) || (0.5, 0.5)) = 0.9 log₂(0.9/0.5) + 0.1 log₂(0.1/0.5)
= 0.9 log₂(1.8) + 0.1 log₂(0.2)
log₂(1.8) ≈ 0.848، log₂(0.2) ≈ −2.322
= 0.9×0.848 + 0.1×(−2.322) ≈ 0.763 − 0.232 ≈ 0.531 بت
تحقق: C = 1 − H(0.1) ≈ 1 − 0.469 = 0.531 بت ✓
معدل-التشويه & حدود الضغط
نظرية معدل-التشويه تمدد نظرية المعلومات إلى الضغط الخاسر. بدلاً من السؤال 'ما هو الحد الأدنى من البتات لتمثيل مصدر بدقة؟' يسأل: 'في ضوء تحمل بعض التشويه الأوسط D، ما هو الحد الأدنى من معدل R(D) بت في الرمز؟'
دالة معدل-التشويه R(D) محدبة و متناقصة في D: أكثر تحملاً للتشويه يسمح بمعدلات أقل. في D = 0 (بدون فقدان): R(0) = H(source). مع زيادة D، R(D) → 0.
هندسياً: R(D) تتعقب منحنى على مستوى (معدل، تشويه). كل زوج (R, D) قابل للتحقق يقع على أو فوق هذا المنحنى. النقاط تحت المنحنى مستحيلة — لا يمكنك ضغط تحت الحد الأساسي في أي مستوى تشويه.
نظرية معدل-التشويه (شانون، 1959): لأي R > R(D)، توجد أكواد تحقق تشويه متوقع على الأكثر D. بالنسبة إلى R < R(D): لا يوجد رمز يحقق تشويه متوقع D. المنحنى هو حدود هندسية في فضاء (معدل، تشويه).