二進位空間中的距離
Richard Hamming最著名的技術貢獻:糾錯碼。其背後的幾何思想比任何具體的碼都更深刻。
Hamming距離
給定兩個等長的二進位字符串,Hamming距離 d(u, v)計算它們不同的位置數:
``
u = 1 0 1 1 0
v = 1 1 1 0 0
↑ ↑
d(u,v) = 2
``
這滿足所有三個度量公理:d(u,v) ≥ 0;d(u,v) = 0當且僅當u = v;d(u,v) = d(v,u);d(u,w) ≤ d(u,v) + d(v,w)。具有Hamming距離的二進位n維空間形成有效的度量空間。
幾何在低維中易於可視化。所有3位二進位字符串位於立方體的8個頂點處。邊相鄰的頂點恰好相差1位;面對角頂點相差2位;對角頂點(例如000和111)相差3位。
計算Hamming距離
Hamming重量wt(v)計算v中1的個數。距離通過XOR與重量相關:
d(u, v) = wt(u XOR v)
例子:u = 10110,v = 11100。XOR = 01010。重量 = 2。所以d(u,v) = 2。
通過球面堆積進行糾錯
二進位碼C ⊆ {0,1}^n由選定的碼字組成。當碼字通過嘈雜信道傳輸時,某些位可能翻轉。接收器獲得損壞的字符串,必須恢復原始。
定義以碼字c為中心、半徑為t的Hamming球:
B(c, t) = { v ∈ {0,1}^n : d(c, v) ≤ t }
為了糾正最多t個錯誤,每對碼字周圍的球B(c, t)不能重疊。如果它們重疊,接收到的字可能位於兩個球中,解碼器無法確定發送了哪個碼字。
碼的最小距離 d_min控制一切:
- 檢測最多d_min − 1個錯誤 - 糾正最多⌊(d_min − 1) / 2⌋個錯誤
Hamming (7,4)碼:n = 7位,k = 4數據位,d_min = 3。糾正1個錯誤。檢測2個。
有多少個碼字可以容納?
長度為n的碼在糾正t個錯誤的同時可以包含多少個碼字?每個碼字「擁有」一個半徑為t的球。所有球必須放入{0,1}^n內,其中包含2^n個點。
Hamming球在{0,1}^n中的體積,半徑為t:
Vol(n,t) = Σ_{i=0}^{t} C(n, i)
Hamming界(球面堆積界)直接得出:糾正t個錯誤的碼滿足
M · Vol(n,t) ≤ 2^n
其中M = 碼字個數。所以M ≤ 2^n / Vol(n,t)。
對於Hamming (7,4)碼:n=7,t=1。Vol(7,1) = C(7,0) + C(7,1) = 1 + 7 = 8。界:M ≤ 128 / 8 = 16。(7,4)碼達到M = 2^4 = 16:一個完美碼,意味著球覆蓋{0,1}^7而沒有間隙。
√n vs n
Hamming使用隨機遊走論證來精確說明長期視野的價值。該論證將模糊的說法——「視野有幫助」——轉化為關於距離的幾何事實。
ℤ上的對稱隨機遊走
每一步,以相等的概率向+1或−1移動。經過n步後,距離原點的預期位移:E[|X_n|] ≈ √n。
這來自方差:Var(X_n) = n(步驟獨立,每個±1方差為1)。標準差 = √n。
定向遊走
每一步,以概率p > 1/2向+1移動(朝目標偏移)。經過n步後,預期位置:E[X_n] = n(2p−1)。對於p = 1(完全定向):E[X_n] = n。
對比:隨機漂移縮放為√n;定向進展縮放為n。
Hamming的轉譯
在研究生涯中,每個工作日代表一步。沒有明確的價值願景,工作在許多方向上漂移:經過n天,淨進展≈√n。有一致的長期願景,努力對齐:經過n天,淨進展≈n。比率n / √n = √n無限增長。
√n比率
定向遊走不需要完美的瞄準。任何朝向目標持續的偏移都將√n漂移轉化為更接近n的進展。
模型的局限性
預測願景產生100倍產出的模型值得仔細檢查。它遺漏了幾件事:
1. 維度:職業在高維空間中運作,而不是ℤ。隨機遊走的幾何隨著d的變化而大幅變化。
2. 相關性:研究步驟相關——今天的工作基於昨天的。相關遊走的行為不同於獨立同分佈的步驟。
3. 願景本身可能是錯誤的:朝著錯誤吸引子的定向遊走比漂移更糟。
翻倍時間
Hamming在課程開始時聲稱技術知識大約每17年翻倍。該聲明有精確的數學結構:指數增長。
指數增長模型
y(t) = a · e^(b·t)
其中a = t = 0時的初始量,b = 增長率(單位時間),e ≈ 2.718。
翻倍時間D:y翻倍的時間。
2a = a · e^(b·D) → 2 = e^(b·D) → ln(2) = b·D → D = ln(2) / b
ln(2) ≈ 0.693。對於b = 0.693/17 ≈ 0.0408每年,翻倍時間 = 17年。
半衰期
半衰期H:y衰減到其值的一半的時間(b < 0)。
H = ln(2) / |b|
相同的公式雙向。半衰期為5年的技能:5年後,市場價值的一半消失。10年後:四分之一保留。20年後:不到7%保留。
知識翻倍
如果技術知識每17年翻倍,在22歲畢業的學生到56歲時面臨轉變的知識景觀——34年的職業跨越兩個完整的翻倍。
專業知識的半衰期
相同的指數模型適用於衰減。特定技能(例如特定芯片架構的掌握、廢棄的API、過時的算法)隨著時間失去價值,因為領域向前發展。
如果專門技能的半衰期H = 5年,那麼t年後保留的原始值的分數:f(t) = (1/2)^(t/H) = 2^(−t/H)。
一個半衰期後(5年):50%保留。兩個半衰期(10年):25%。三個(15年):12.5%。四個(20年):6.25%。
Hamming的含義:學習「如何學習」的價值以與專業知識衰減相同的指數複合正增長。投資於學習策略、問題框架和可轉移推理在半衰期週期中保留價值。
幾何、糾錯與職業
本課程中的三個幾何結構看起來不相連。它們相連。
Hamming距離形式化錯誤的成本和從中恢復所需的冗餘。每個通信系統、每個代碼庫、每個知識體都需要足夠的冗餘,使得單個錯誤不會損壞整體。
√n vs n論證將願景轉化為幾何事實:漂移縮放為距起點的距離,定向運動縮放為朝著目標的位移。職業戰略中的冗餘——保持多條調查線開放——可以防止偶爾的錯誤轉向。
指數增長與衰減控制著擴展邊界和你今天知道的東西的半衰期。唯一穩定的投資:學習如何學習,它在相同的時間尺度上複合,當專業知識衰減時。