ما أسماه Shannon بـ المعلومات
عرّف Shannon المعلومات بقياس المفاجأة. رسالة بها احتمالية p تحمل:
I = −log₂(p) بت
حدث مؤكد (p = 1) يحمل 0 بت — لا مفاجأة، لا معلومات. حدث نادر (p = 1/1024) يحمل 10 بت.
يشير Hamming فوراً إلى المشكلة: هذه صيغة لقياس كمية، ليست تعريفاً للمفهوم. تقيس مفاجأة تشبه الآلات، ليس المعنى البشري. طالب يعرف الإجابة على سؤال بالفعل يتلقى 0 بت من الإجابة — بغض النظر عن مدى أهمية الإجابة للآخرين.
الصيغة تنطبق جيداً على أنظمة الهاتف & الراديو & الحواسيب. تنطبق بشكل سيء على الاتصال البشري أو البيولوجيا أو المعنى. الاسم المفضل عند Hamming: 'نظرية الاتصال'، وليس 'نظرية المعلومات'.
الإنتروبيا
لأبجدية من q رموز باحتمالية p₁، p₂، ...، p_q، متوسط المعلومات لكل رمز هو الإنتروبيا:
H = −Σᵢ pᵢ log₂(pᵢ)
يصل H إلى أقصاه عندما تكون جميع الاحتمالات متساوية: H_max = log₂(q) بت. أي توزيع غير موحد له إنتروبيا أقل.
حساب الإنتروبيا
الإنتروبيا الثنائية: مصدر بـ رمزين، P(0) = p، P(1) = 1−p.
H(p) = −p log₂(p) − (1−p) log₂(1−p)
H(p) = 0 عند p = 0 أو p = 1 (قابل للتنبؤ تماماً). H(p) = 1 بت عند p = 0.5 (غير قابل للتنبؤ تماماً).
متباينة Gibbs & التشفير بدون ضوضاء
متباينة Gibbs: لأي توزيعات احتمالية p = {pᵢ} و q = {qᵢ}:
−Σ pᵢ log₂(pᵢ) ≤ −Σ pᵢ log₂(qᵢ)
تساوي فقط عندما p = q. هذا يستند إلى الحقيقة الأولية أن ln(x) ≤ x − 1 لكل x > 0، مع التساوي عند x = 1.
النتيجة: يصل الإنتروبيا H(p) إلى أقصاه عندما تكون جميع الرموز متساوية الاحتمال. لـ q رموز: H_max = log₂(q).
نظرية التشفير بدون ضوضاء: بالنظر إلى كود فك تشفير فريد، تتطلب متباينة Kraft Σ 2^(−lᵢ) ≤ 1 حيث lᵢ هي طول الكود للرمز i. بواسطة متباينة Gibbs، متوسط طول الكود L = Σ pᵢ lᵢ يحقق:
L ≥ H(p) = −Σ pᵢ log₂(pᵢ)
لا يمكنك أن تفعل أفضل من الإنتروبيا في المتوسط. تشفير Huffman يحقق L < H + 1.
سعة القناة
القناة الثنائية المتماثلة (BSC) تقلب كل بت بشكل مستقل باحتمال خطأ Q = 1 − P. سعة BSC — الحد الأقصى لمعدل المعلومات الموثوقة — هي:
C = 1 + P log₂(P) + Q log₂(Q) = 1 − H(Q)
حيث H(Q) = −Q log₂(Q) − (1−Q) log₂(1−Q) هي الإنتروبيا الثنائية لمعدل الخطأ.
عند Q = 0 (بلا أخطاء): C = 1 بت/إرسال (قناة مثالية). عند Q = 0.5 (قلب عشوائي): C = 0 (القناة لا تحمل معلومات). عند Q = 1 (جميع البتات تقلب): C = 1 (تعرف بالضبط ما أرسله المرسل، فقط اقلب كل شيء للخلف).
C يقيس الحد الأقصى لمعدل R الذي يمكنك نقل المعلومات عنده باحتمال خطأ صغير جداً. إذا R < C، توجد مثل هذه الأكواد. إذا R > C، لا توجد — لا يوجد كود يمكنه تجاوز السعة.
حساب سعة القناة
مع P = 0.9 (معدل خطأ 10٪، Q = 0.1):
C = 1 + 0.9 log₂(0.9) + 0.1 log₂(0.1)
log₂(0.9) ≈ −0.152، log₂(0.1) ≈ −3.322
C ≈ 1 + 0.9×(−0.152) + 0.1×(−3.322) = 1 − 0.137 − 0.332 ≈ 0.531 بت/إرسال
ما تثبته النظرية
النظرية الأساسية لـ Shannon: لأي معدل R < C، توجد أكواد بطول كتلة n (حيث n → ∞) تحقق احتمال خطأ P_E → 0.
الإثبات يستخدم حجة مفاجئة: أكواد عشوائية. بدلاً من بناء كود محدد، تعامل Shannon مع المتوسط على جميع كتب الأكواد العشوائية الممكنة (ترميز بقلب عملة). أظهر أن المتوسط للخطأ على جميع كتب الأكواد صغير. إذا كان المتوسط صغيراً، فإن كتاب كود واحد على الأقل يحقق خطأ صغير.
تحليل قائم على الكرات: المرسل يختار الرسالة aᵢ → كرة نصف قطرها n(Q + ε₂) حول aᵢ في الفضاء الثنائي n-البعدي. بالنسبة لـ n كبيرة، تقع الكلمة المستقبلة bⱼ داخل هذه الكرة باحتمال عالي. يفك المستقبل الترميز إلى كلمة الكود التي تحتويها كرتها.
أربع حالات تحدد احتمال الخطأ P_E:
``
aᵢ في الكرة aⱼ آخر في الكرة النتيجة
نعم لا صحيح (بلا خطأ)
نعم نعم غامض → خطأ
لا نعم فك ترميز خاطئ → خطأ
لا لا خارج جميع الكرات → خطأ
``
الحد على P_E يعمل بـ: P_E ≤ d + M × 2^(n × (H(Q+ε₂) − C)) لـ d و ε₂ مختارة بحكمة. باختيار ε₂ بحيث H(Q+ε₂) < C يجعل الأس سالباً. لـ n كبيرة، الحد الثاني → 0.
الطبيعة الوجودية للنظرية
كان Hamming دقيقاً حول ما تثبته النظرية & ما لا تثبته.
ما تثبته: يمكن الاتصال الموثوق عند معدل R < C، من حيث المبدأ، بـ n كبيرة بما فيه الكفاية.
ما لا توفره: بناء كود صريح. كتاب كود عشوائي بطول n كبير بما يكفي للاقتراب من السعة لديه كتاب كود بحجم M × n بتات، حيث كل من M و n ضخمة جداً. لا يمكنك تخزينه أو الحساب معه.
أكواد تصحيح الأخطاء مقابل Shannon: أكواد تصحيح الأخطاء (Hamming، Reed-Solomon، turbo، LDPC) توفر بناءات صريحة قابلة للحساب. تضحي ببعض المسافة من السعة مقابل مرمزات & فاكّات ترميز عملية. مع نمو n & تصحيح المزيد من الأخطاء لكل كتلة، يمكن للأكواد العملية الاقتراب من السعة بشكل وثيق.
مثال الأقمار الاصطناعية الفضائية: استخدمت Voyager & Pioneer أكواد قوية لتصحيح الأخطاء للاتصال عبر مليارات الأميال بـ 5-20 واط من القوة. أطوال الكتل الطويلة سمحت بتصحيح أخطاء أكثر لكل كتلة، مما دفع قريباً من السعة رغم الضوضاء الضخمة من المسافة.
التقييم النقدي
أغلق Hamming الفصل 13 بانتقاد أوسع للتعاريف في العلم. صيغة Shannon للمعلومات تقيس مفاجأة الآلات، لا المعنى البشري. الاسم 'نظرية المعلومات' يوعد بأكثر من اللازم. تشبيه الشبكة السمكية: صياد يصيد أسماكاً فقط أكبر من فتحات شبكته يستنتج عدم وجود أسماك أصغر. قيود الأداة تصبح قيود العالم الواضحة.
مشكلة التعاريف
استخدم Hamming نظرية المعلومات لعمل نقطة منهجية أوسع: التعاريف الأولية تحدد ما تجده، أكثر مما يدرك معظم الناس.
اختار Shannon تعريف 'المعلومات' كمفاجأة. كان ذلك التعريف منتجاً لهندسة الاتصالات. لكنه استورد نطاقاً محدداً — الأنظمة الشبيهة بالآلات — إلى كلمة ('المعلومات') التي تقترح قابلية تطبيق عالمية.
تشبيه الشبكة السمكية: شبكة بفتحات 6 بوصة تصيد أسماكاً كبيرة فقط. يستنتج الصياد: الحد الأدنى لحجم السمكة 6 بوصة. الاستنتاج يعكس الأداة، لا العالم.
مثيل: اختبارات معامل الذكاء كمثيل مواز: اختبار مصمم 'لقياس الذكاء'، معايرة لإنتاج توزيع طبيعي، ثم يستخدم لتعريف الذكاء. الأداة تشكل المفهوم.
توصية Hamming: عندما تواجه تعريفاً، اسأل (1) كم يتفق مع حدسك السابق؟ (2) كم يشوه؟ (3) تحت أي ظروف تم تأطيره؟ (4) هل يتم تطبيقه الآن تحت ظروف مختلفة؟