Shannonが情報と呼んだもの
Shannonは驚きを測定することで情報を定義しました。確率pのメッセージは以下を持ちます：
I = −log₂(p) bits
確実な事象（p = 1）は0ビットを持ちます—驚きなし、情報なし。稀な事象（p = 1/1024）は10ビットを持ちます。
Hammingは直ちに問題を指摘します：これは量を測定するための公式であり、概念の定義ではありません。これは機械的な驚きを測定するのであり、人間の意味ではありません。すでに質問の答えを知っている学生は、その答えから0ビットを受け取ります—その答えが他の人にとってどれほど重要であるかに関係なく。
この公式は電話システム、無線、コンピュータに適切に適用されます。人間のコミュニケーション、生物学、または意味には適用がうまくいきません。Hammingの好ましい名前：「情報理論」ではなく「通信理論」。
エントロピー
q個の記号を持つアルファベットに対して、確率がp₁、p₂、...、p_qの場合、記号ごとの平均情報量はエントロピーです：
H = −Σᵢ pᵢ log₂(pᵢ)
Hはすべての確率が等しい場合に最大値に達します：H_max = log₂(q)ビット。一様でない分布はより低いエントロピーを持ちます。
エントロピーを計算する
二値エントロピー：2つの記号を持つソース、P(0) = p、P(1) = 1−p。
H(p) = −p log₂(p) − (1−p) log₂(1−p)
H(p) = 0（p = 0またはp = 1のとき）（完全に予測可能）。H(p) = 1ビット（p = 0.5のとき）（完全に予測不可能）。
Gibbsの不等式とノイズレス符号化
Gibbsの不等式：確率分布p = {pᵢ}およびq = {qᵢ}に対して：
−Σ pᵢ log₂(pᵢ) ≤ −Σ pᵢ log₂(qᵢ)
等号はp = qの場合のみです。これは基本的事実ln(x) ≤ x − 1（すべてのx > 0、x = 1で等号）に基づいています。
結果：エントロピーH(p)はすべての記号が等確率である場合に最大化されます。q個の記号に対して：H_max = log₂(q)。
ノイズレス符号化定理：一意にデコード可能なコードが与えられた場合、Kraft不等式は Σ 2^(−lᵢ) ≤ 1を要求します。ここでlᵢは記号iの符号長です。Gibbsの不等式により、平均符号長L = Σ pᵢ lᵢは以下を満たします：
L ≥ H(p) = −Σ pᵢ log₂(pᵢ)
平均して、エントロピーより良い結果は得られません。Huffman符号はL < H + 1を達成します。
通信路容量
二値対称通信路（BSC）は各ビットを誤り確率Q = 1 − Pで独立に反転します。BSCの容量—最大信頼できる情報レート—は：
C = 1 + P log₂(P) + Q log₂(Q) = 1 − H(Q)
ここでH(Q) = −Q log₂(Q) − (1−Q) log₂(1−Q)は誤り率の二値エントロピーです。
Q = 0（誤りなし）で：C = 1ビット/伝送（完全な通信路）。Q = 0.5（ランダム反転）で：C = 0（通信路は情報を伝えません）。Q = 1（すべてのビットが反転）で：C = 1（送信者が正確に何を送ったかを知っており、すべてを反転し返すだけです）。
Cはあなたが送信できる最大レートRを測定します任意に小さい誤り確率で。R < Cの場合、そのようなコードが存在します。R > Cの場合、存在しません—容量を超えるコードはありません。
通信路容量を計算する
P = 0.9（10%誤り率、Q = 0.1）で：
C = 1 + 0.9 log₂(0.9) + 0.1 log₂(0.1)
log₂(0.9) ≈ −0.152、log₂(0.1) ≈ −3.322
C ≈ 1 + 0.9×(−0.152) + 0.1×(−3.322) = 1 − 0.137 − 0.332 ≈ 0.531ビット/伝送
定理が証明すること
Shannonの基本定理：任意のレートR < Cに対して、ブロック長n（n → ∞で）の誤り確率P_E → 0を達成するコードが存在します。
証明は驚くべき議論を使用します：ランダムコード。特定のコードを構築する代わりに、Shannonはすべての可能なランダムコード書籍（コイン反転エンコード）の平均を取りました。彼は平均誤りがすべてのコード書籍に対して小さいことを示しました。平均が小さい場合、少なくとも1つのコードが小さい誤りを達成します。
球ベース分析：送信者はメッセージaᵢを選び、n次元二値空間でaᵢの周りの半径n(Q + ε₂)の球を生成します。大きなnに対して、受信語bⱼはこの球内にある高い確率を持ちます。受信者はbⱼを含む球の符号語にデコードします。
4つのケースが誤り確率P_Eを決定します：
``
aᵢ in sphere other aⱼ in sphere outcome
yes no correct (no error)
yes yes ambiguous → error
no yes wrong decode → error
no no outside all spheres → error
``
P_Eの境界は以下のようになります：P_E ≤ d + M × 2^(n × (H(Q+ε₂) − C))適切に選ばれたdとε₂のために。H(Q+ε₂) < Cになるようにε₂を選ぶと指数がマイナスになります。大きなnに対して、第2項→ 0。
定理の存在論的な性質
Hammingは定理が何をするか、しないかについて正確でした。
それが証明すること：原則上、レートR < Cで信頼できるコミュニケーションが可能です（十分に大きいnに対して）。
それが提供しないこと：明示的なコード構成。容量に近づくのに十分な長さnのランダムコードは、M × nビットのコード書籍を持ちます。Mとnはともにす天文学的に大きいです。それを保存したり計算することはできません。
エラー訂正符号対Shannonの比較：エラー訂正符号（Hamming、Reed-Solomon、ターボ、LDPC）は明示的で計算可能な構成を提供します。容量からの距離を犠牲にしますが、実用的なエンコーダーとデコーダーと引き換えに。nが増えて各ブロックでより多くのエラーが訂正されるにつれて、実用的なコードが容量に近づくことができます。
宇宙衛星の例：VoyagerとPioneerは何十億マイル離れた通信のための強力なエラー訂正符号を使用し、わずか5～20ワットの電力で。長いブロック長は各ブロックあたりより多くのエラーを訂正することを許可し、距離からの膨大なノイズにもかかわらず容量に近づくことができます。
批判的評価
Hammingは第13章を科学における定義についてのより広い批判で閉じました。Shannonの情報公式は機械的な驚きを測定しますが、人間の意味ではありません。「情報理論」という名前は過度に約束します。漁師のネットのアナロジー：6インチのメッシュを持つネットは大きな魚だけをキャッチします。漁師は結論を下します：最小魚サイズは6インチです。結論はツールを反映し、世界ではありません。
定義の問題
Hammingは情報理論を使用してより大きな方法論的ポイントを作成しました：初期の定義は、ほとんどの人が実現するより、あなたが見つけるものを決定します。
Shannonは「情報」を驚きとして定義することを選びました。その定義は通信工学に対して生産的でした。しかし、特定の範囲を輸入しました—機械のようなシステム—「情報」という言葉に、それは普遍的な適用可能性を示唆します。
漁師のネットのアナロジー：6インチのメッシュを持つネットは大きな魚だけをキャッチします。漁師は結論を下します：最小魚サイズは6インチです。結論はツールを反映し、世界ではありません。
IQは平行として：「知性」を測定するために設計されたテストは、西部の学童の学業パフォーマンスに対して、通常分布を生成するように調整された、その後「知性」を定義するために使用された。ツールが概念を形作ります。
Hammingの推奨：定義に遭遇するときはいつでも、尋ねます：(1)どの程度それはあなたの事前の直感と一致しますか？(2)どの程度それは歪みますか？(3)どのような条件の下でそれはフレーミングされましたか？(4)それは今異なる条件の下で適用されていますか？