English· Español· Deutsch· Nederlands· Français· 日本語· ქართული· 繁體中文· 简体中文· Português· Русский· العربية· हिन्दी· Italiano· 한국어· Polski· Svenska· Türkçe· Українська· Tiếng Việt· Bahasa Indonesia

un

guest
1 / ?
back to lessons

二進位空間中的距離

Richard Hamming最著名的技術貢獻:糾錯碼。其背後的幾何思想比任何具體的碼都更深刻。

Hamming距離

給定兩個等長的二進位字符串,Hamming距離 d(u, v)計算它們不同的位置數:

`` u = 1 0 1 1 0 v = 1 1 1 0 0 ↑ ↑ d(u,v) = 2 ``

這滿足所有三個度量公理:d(u,v) ≥ 0;d(u,v) = 0當且僅當u = v;d(u,v) = d(v,u);d(u,w) ≤ d(u,v) + d(v,w)。具有Hamming距離的二進位n維空間形成有效的度量空間。

幾何在低維中易於可視化。所有3位二進位字符串位於立方體的8個頂點處。邊相鄰的頂點恰好相差1位;面對角頂點相差2位;對角頂點(例如000和111)相差3位。

3位超立方體:Hamming距離

計算Hamming距離

Hamming重量wt(v)計算v中1的個數。距離通過XOR與重量相關:

d(u, v) = wt(u XOR v)

例子:u = 10110,v = 11100。XOR = 01010。重量 = 2。所以d(u,v) = 2。

計算u = 10011101和v = 11010100的d(u, v)。顯示XOR步驟,然後計算不同位的個數。

通過球面堆積進行糾錯

二進位碼C ⊆ {0,1}^n由選定的碼字組成。當碼字通過嘈雜信道傳輸時,某些位可能翻轉。接收器獲得損壞的字符串,必須恢復原始。

定義以碼字c為中心、半徑為t的Hamming球

B(c, t) = { v ∈ {0,1}^n : d(c, v) ≤ t }

為了糾正最多t個錯誤,每對碼字周圍的球B(c, t)不能重疊。如果它們重疊,接收到的字可能位於兩個球中,解碼器無法確定發送了哪個碼字。

碼的最小距離 d_min控制一切:

- 檢測最多d_min − 1個錯誤 - 糾正最多⌊(d_min − 1) / 2⌋個錯誤

Hamming (7,4)碼:n = 7位,k = 4數據位,d_min = 3。糾正1個錯誤。檢測2個。

糾錯:球面堆積

一個碼的最小距離為5。它能檢測多少個錯誤?能糾正多少個?顯示公式,然後計算兩個值。

有多少個碼字可以容納?

長度為n的碼在糾正t個錯誤的同時可以包含多少個碼字?每個碼字「擁有」一個半徑為t的球。所有球必須放入{0,1}^n內,其中包含2^n個點。

Hamming球在{0,1}^n中的體積,半徑為t:

Vol(n,t) = Σ_{i=0}^{t} C(n, i)

Hamming界(球面堆積界)直接得出:糾正t個錯誤的碼滿足

M · Vol(n,t) ≤ 2^n

其中M = 碼字個數。所以M ≤ 2^n / Vol(n,t)。

對於Hamming (7,4)碼:n=7,t=1。Vol(7,1) = C(7,0) + C(7,1) = 1 + 7 = 8。界:M ≤ 128 / 8 = 16。(7,4)碼達到M = 2^4 = 16:一個完美碼,意味著球覆蓋{0,1}^7而沒有間隙。

對於n = 15和t = 1(單錯誤糾正),計算Vol(15, 1)和碼字個數M的Hamming界。M = 2^11是否可達成?

√n vs n

Hamming使用隨機遊走論證來精確說明長期視野的價值。該論證將模糊的說法——「視野有幫助」——轉化為關於距離的幾何事實。

ℤ上的對稱隨機遊走

每一步,以相等的概率向+1或−1移動。經過n步後,距離原點的預期位移:E[|X_n|] ≈ √n。

這來自方差:Var(X_n) = n(步驟獨立,每個±1方差為1)。標準差 = √n。

定向遊走

每一步,以概率p > 1/2向+1移動(朝目標偏移)。經過n步後,預期位置:E[X_n] = n(2p−1)。對於p = 1(完全定向):E[X_n] = n。

對比:隨機漂移縮放為√n;定向進展縮放為n。

隨機遊走vs定向遊走

Hamming的轉譯

在研究生涯中,每個工作日代表一步。沒有明確的價值願景,工作在許多方向上漂移:經過n天,淨進展≈√n。有一致的長期願景,努力對齐:經過n天,淨進展≈n。比率n / √n = √n無限增長。

√n比率

定向遊走不需要完美的瞄準。任何朝向目標持續的偏移都將√n漂移轉化為更接近n的進展。

Hamming說一個具有明確願景的人在生涯中完成的工作量大約是沒有願景的人的√n倍,其中n是工作天數。如果一個生涯跨越10,000個工作天,這預測的比率是多少?這個數字對於長期願景的實際價值說了什麼?

模型的局限性

預測願景產生100倍產出的模型值得仔細檢查。它遺漏了幾件事:

1. 維度:職業在高維空間中運作,而不是ℤ。隨機遊走的幾何隨著d的變化而大幅變化。

2. 相關性:研究步驟相關——今天的工作基於昨天的。相關遊走的行為不同於獨立同分佈的步驟。

3. 願景本身可能是錯誤的:朝著錯誤吸引子的定向遊走比漂移更糟。

找出√n vs n論證所依賴的一個假設,你認為在真實研究職業中最可疑。解釋為什麼該假設對100倍預測很重要。

翻倍時間

Hamming在課程開始時聲稱技術知識大約每17年翻倍。該聲明有精確的數學結構:指數增長。

指數增長模型

y(t) = a · e^(b·t)

其中a = t = 0時的初始量,b = 增長率(單位時間),e ≈ 2.718。

翻倍時間D:y翻倍的時間。

2a = a · e^(b·D) → 2 = e^(b·D) → ln(2) = b·D → D = ln(2) / b

ln(2) ≈ 0.693。對於b = 0.693/17 ≈ 0.0408每年,翻倍時間 = 17年。

半衰期

半衰期H:y衰減到其值的一半的時間(b < 0)。

H = ln(2) / |b|

相同的公式雙向。半衰期為5年的技能:5年後,市場價值的一半消失。10年後:四分之一保留。20年後:不到7%保留。

知識翻倍

如果技術知識每17年翻倍,在22歲畢業的學生到56歲時面臨轉變的知識景觀——34年的職業跨越兩個完整的翻倍。

使用D = ln(2) / b,計算17年翻倍時間所隱含的年增長率b。然後使用y(t) = e^(b·t)找出知識庫在34年職業中的倍增因子。顯示您的工作。

專業知識的半衰期

相同的指數模型適用於衰減。特定技能(例如特定芯片架構的掌握、廢棄的API、過時的算法)隨著時間失去價值,因為領域向前發展。

如果專門技能的半衰期H = 5年,那麼t年後保留的原始值的分數:f(t) = (1/2)^(t/H) = 2^(−t/H)。

一個半衰期後(5年):50%保留。兩個半衰期(10年):25%。三個(15年):12.5%。四個(20年):6.25%。

Hamming的含義:學習「如何學習」的價值以與專業知識衰減相同的指數複合正增長。投資於學習策略、問題框架和可轉移推理在半衰期週期中保留價值。

一位軟件工程師在特定框架方面的專業知識有4年的半衰期。她還有12年直到退休。該專業知識的價值在退休時保留的比例是多少?然後解釋:這對她應該如何分配深度專業化和可轉移技能之間的學習時間表示什麼?

幾何、糾錯與職業

本課程中的三個幾何結構看起來不相連。它們相連。

Hamming距離形式化錯誤的成本和從中恢復所需的冗餘。每個通信系統、每個代碼庫、每個知識體都需要足夠的冗餘,使得單個錯誤不會損壞整體。

√n vs n論證將願景轉化為幾何事實:漂移縮放為距起點的距離,定向運動縮放為朝著目標的位移。職業戰略中的冗餘——保持多條調查線開放——可以防止偶爾的錯誤轉向。

指數增長與衰減控制著擴展邊界和你今天知道的東西的半衰期。唯一穩定的投資:學習如何學習,它在相同的時間尺度上複合,當專業知識衰減時。

將這三個幾何思想中的至少兩個連接到你在你的領域或職業中面臨的單一具體決定。連接應該具體:命名決定,命名幾何結構,並解釋幾何告訴你比沒有它時做什麼不同。