二進空間における距離
Richard Hammingの最も有名な技術的貢献:誤り訂正符号。これらの背後にある幾何学的考え方は、具体的な符号よりもはるかに深い。
ハミング距離
等しい長さの2つの二進文字列が与えられたとき、ハミング距離d(u, v)は異なる位置の個数を数えます:
``
u = 1 0 1 1 0
v = 1 1 1 0 0
↑ ↑
d(u,v) = 2
``
これは3つのメトリック公理をすべて満たします:d(u,v) ≥ 0; d(u,v) = 0 iff u = v; d(u,v) = d(v,u); d(u,w) ≤ d(u,v) + d(v,w)。ハミング距離を備えた二進n次元空間は有効なメトリック空間を形成します。
幾何学は低次元で明確に視覚化できます。すべての3ビット文字列は立方体の8つの頂点に位置します。辺隣接の頂点は正確に1ビット異なります。面対角線の頂点は2ビット異なります。対角頂点(例:000と111)は3ビット異なります。
ハミング距離の計算
ハミング重みwt(v)はvの1の個数を数えます。距離はXOR経由で重みに関連します:
d(u, v) = wt(u XOR v)
例:u = 10110, v = 11100。XOR = 01010。重み = 2。したがってd(u,v) = 2。
球面パッキングによる誤り訂正
二進符号C ⊆ {0,1}^nは選択された符号語で構成されます。符号語がノイズの多いチャネルで送信されると、いくつかのビットが反転される可能性があります。受信者は破損した文字列を受け取り、元の文字列を復旧する必要があります。
符号語cを中心としたハミング球を定義します(半径t):
B(c, t) = { v ∈ {0,1}^n : d(c, v) ≤ t }
最大t個のエラーを訂正するには、符号語のすべてのペアの周りのボールB(c, t)が重ならないようにする必要があります。重ならない場合、受信された単語は2つのボール内にあり、デコーダはどの符号語が送信されたかを判断できません。
符号の最小距離dminはすべてを支配します:
- 最大dmin − 1個のエラーを検出 - 最大⌊(dmin − 1) / 2⌋個のエラーを訂正
ハミング(7,4)符号:n = 7ビット、k = 4データビット、dmin = 3。1エラーを訂正します。2エラーを検出します。
何個の符号語が収まるか?
tエラーを訂正しながら、長さnの符号はいくつの符号語を含むことができますか?各符号語は半径tのボールを「所有」します。すべてのボールは一緒に{0,1}^nに収まる必要があります。これは2^nポイントを持ちます。
{0,1}^nの半径tのハミング球の体積:
Vol(n,t) = Σ_{i=0}^{t} C(n, i)
ハミング境界(球面パッキング境界)は直接従います:tエラーを訂正する符号は、
M · Vol(n,t) ≤ 2^n
を満たします。ここでM =符号語の個数。したがってM ≤ 2^n / Vol(n,t)。
ハミング(7,4)符号の場合:n=7、t=1。Vol(7,1) = C(7,0) + C(7,1) = 1 + 7 = 8。境界:M ≤ 128 / 8 = 16。(7,4)符号はM = 2^4 = 16を達成します。完全符号です。ボールが{0,1}^7をギャップなくタイル張りします。
√n対n
Hammingはランダムウォーク議論を使用して、長期的な視野の価値を正確にしました。この議論は曖昧な主張—「視野が役に立つ」—を幾何学的事実に変換します。
ℤ上の対称ランダムウォーク
各ステップで、等確率で+1または−1に移動します。n ステップ後、原点からの予想変位:E[|X_n|] ≈ √n。
これは分散から従います:Var(X_n) = n(ステップは独立、各±1の分散1)。標準偏差= √n。
有向ウォーク
各ステップで、確率p > 1/2で+1に移動(目標へのバイアス)。n ステップ後、予想位置:E[X_n] = n(2p−1)。p = 1の場合(完全に有向):E[X_n] = n。
対比:ランダムドリフトは√nとしてスケール;有向進捗はnとしてスケール。
Hammingの翻訳
研究キャリアでは、各作業日は1ステップを表します。重要なものの明確な視野がなければ、仕事は多くの方向にドリフトします。n日後、純進捗≈ √n。一貫した長期的視野があれば、努力は一貫します。n日後、純進捗≈ n。比率n / √n = √nは制限なく成長します。
√n比
有向ウォークは完璧な目的を必要としません。目標に向けた一貫したバイアスは√nドリフトを何かnに近い進捗に変換します。
モデルの限度
視野から100倍の出力を予測するモデルは精密検査に値します。それが省略するいくつかのもの:
1. 次元性:キャリアはℤではなく高次元空間で動作します。ランダムウォークの幾何学は次元dで大きく変わります。
2. 相関:研究ステップは相関します—今日の仕事は昨日の仕事の上に構築されます。相関ウォークはi.i.d.ステップとは異なるように動作します。
3. 視野そのものが間違っている可能性があります:正しくないアトラクタに向けた有向ウォークはドリフトより悪いです。
倍増時間
Hammingは彼のコースを技術知識がおよそ17年ごとに倍増するという主張で開きました。その主張は正確な数学的構造を持ちます:指数成長。
指数成長モデル
y(t) = a · e^(b·t)
ここで a = t = 0での初期量、b =成長率(単位時間あたり)、e ≈ 2.718。
倍増時間D:yが倍になる時間。
2a = a · e^(b·D) → 2 = e^(b·D) → ln(2) = b·D → D = ln(2) / b
ln(2) ≈ 0.693。b = 0.693/17 ≈ 0.0408/年の場合、倍増時間= 17年。
半減期
半減期H:yがその値の半分に減衰する時間(b < 0)。
H = ln(2) / |b|
どちらの方向でも同じ式。半減期5年のスキル:5年後、市場価値の半分が消えています。10年後:4分の1が残ります。20年後:7%未満が残ります。
知識の倍増
技術知識が17年ごとに倍増する場合、22歳で卒業する学生は56歳までに変わった知識環境に直面します。34年のキャリアは2つの完全な倍増期間にまたがります。
専門知識の半減期
同じ指数モデルは減衰に適用されます。特定のスキル(例えば、特定のチップアーキテクチャの習熟、非推奨API、廃止されたアルゴリズム)は、フィールドが進むにつれて時間とともに価値を失います。
特定のスキルの半減期H = 5年の場合、t年後の元の値の残りの割合:f(t) = (1/2)^(t/H) = 2^(−t/H)。
1つの半減期後(5年):50%が残ります。2つの半減期(10年):25%。3つ(15年):12.5%。4つ(20年):6.25%。
Hammingの意味:学ぶ方法を学ぶ価値は、専門知識が減衰するのと同じ指数で積極的に複合します。学習戦略、問題フレーミング、および転移可能な推論への投資は、半減期サイクル全体で価値を保持します。
幾何学、誤り訂正、キャリア
このレッスンからの3つの幾何学的構造は、接続されていないように見えます。彼らは接続します。
ハミング距離はエラーの費用と、それから回復するために必要な冗長性を形式化します。すべての通信システム、すべてのコードベース、すべての知識体には、単一のエラーが全体を破損しない十分な冗長性が必要です。
√n対nの議論は、視野を幾何学的事実に変換します:ドリフトは開始点からの距離としてスケール;有向運動は目標への変位としてスケール。キャリア戦略の冗長性—複数の調査ラインを開いたままにする—時折の間違った回転からバッファします。
指数成長&減衰は、展開しているフロンティアと今日あなたが知っていることの半減期の両方を支配します。唯一の安定した投資:学ぶ方法を学ぶこと。これは、専門知識が減衰するのと同じタイムスケール上で複合します。