Odległość w Przestrzeni Binarnej
Najbardziej znany wkład techniczny Richarda Hamminga: kody korekcyjne. Pomysł geometryczny za nimi stoi głębiej niż jakikolwiek konkretny kod.
Odległość Hamminga
Mając dwa ciągi binarne o równej długości, odległość Hamminga d(u, v) zlicza pozycje, w których się różnią:
``
u = 1 0 1 1 0
v = 1 1 1 0 0
↑ ↑
d(u,v) = 2
``
Spełnia wszystkie trzy aksjomaty metryki: d(u,v) ≥ 0; d(u,v) = 0 wtedy i tylko wtedy, gdy u = v; d(u,v) = d(v,u); d(u,w) ≤ d(u,v) + d(v,w). Przestrzeń binarna n-wymiarowa z odległością Hamminga tworzy prawidłową przestrzeń metryczną.
Geometria wizualizuje się wyraźnie w niskich wymiarach. Wszystkie ciągi 3-bitowe znajdują się na 8 wierzchołkach sześcianu. Wierzchołki sąsiadujące krawędzią różnią się dokładnie 1 bitem; wierzchołki na przekątnej ściany różnią się 2; wierzchołki przeciwne (np. 000 i 111) różnią się 3.
Obliczanie Odległości Hamminga
Waga Hamminga wt(v) zlicza liczbę jedynek w v. Odległość wiąże się z wagą przez XOR:
d(u, v) = wt(u XOR v)
Przykład: u = 10110, v = 11100. XOR = 01010. Waga = 2. Zatem d(u,v) = 2.
Korekcja Błędów poprzez Pakowanie Sfer
Kod binarny C ⊆ {0,1}^n składa się z wybranych słów kodowych. Kiedy słowo kodowe transmituje się przez zaszumiony kanał, niektóre bity mogą się zmienić. Odbiornik otrzymuje uszkodzony ciąg i musi odzyskać oryginał.
Zdefiniuj kulę Hamminga o promieniu t ze środkiem w słowie kodowym c:
B(c, t) = { v ∈ {0,1}^n : d(c, v) ≤ t }
Aby korygować do t błędów, kule B(c, t) wokół każdej pary słów kodowych nie mogą się pokrywać. Jeśli się pokrywają, odebrane słowo mogłoby leżeć w dwóch kulach i dekoder nie mógłby określić, które słowo kodowe zostało wysłane.
Minimalna odległość d_min kodu rządzi wszystkim:
- Wykrywaj do d_min − 1 błędów - Koryguj do ⌊(d_min − 1) / 2⌋ błędów
Kod Hamminga (7,4): n = 7 bitów, k = 4 bity danych, d_min = 3. Koryguje 1 błąd. Wykrywa 2.
Ile Słów Kodowych Się Mieści?
Ile słów kodowych może zawierać kod długości n, zachowując możliwość korekcji t błędów? Każde słowo kodowe "właści" kulę o promieniu t. Wszystkie kule razem muszą zmieścić się wewnątrz {0,1}^n, które ma 2^n punktów.
Objętość kuli Hamminga o promieniu t w {0,1}^n:
Vol(n,t) = Σ_{i=0}^{t} C(n, i)
Ograniczenie Hamminga (ograniczenie pakowania sfer) wynika bezpośrednio: kod korygujący t błędów spełnia
M · Vol(n,t) ≤ 2^n
gdzie M = liczba słów kodowych. Zatem M ≤ 2^n / Vol(n,t).
Dla kodu Hamminga (7,4): n=7, t=1. Vol(7,1) = C(7,0) + C(7,1) = 1 + 7 = 8. Ograniczenie: M ≤ 128 / 8 = 16. Kod (7,4) osiąga M = 2^4 = 16: kod doskonały, oznaczający, że kule sieciują {0,1}^7 bez przerw.
√n kontra n
Hamming użył argumentu losowego spaceru, aby precyzyjnie wyrazić wartość długoterminowego widzenia. Argument konwertuje niejasne twierdzenie — "widzenie pomaga" — w geometryczny fakt dotyczący odległości.
Symetryczny Losowy Spacer na ℤ
W każdym kroku przesunięcie +1 lub −1 z równym prawdopodobieństwem. Po n krokach, oczekiwane przesunięcie od pochodzenia: E[|X_n|] ≈ √n.
To wynika z wariancji: Var(X_n) = n (kroki niezależne, każdy ±1 ma wariancję 1). Odchylenie standardowe = √n.
Kierunkowy Spacer
W każdym kroku przesunięcie +1 z prawdopodobieństwem p > 1/2 (tendencja w kierunku celu). Po n krokach, oczekiwana pozycja: E[X_n] = n(2p−1). Dla p = 1 (całkowicie kierunkowy): E[X_n] = n.
Kontrast: losowy dryf skaluje się jako √n; kierunkowy postęp skaluje się jako n.
Translacja Hamminga
W karierze badawczej każdy dzień roboczy reprezentuje jeden krok. Bez jasnej wizji tego, co ma znaczenie, praca dryfuje w wiele kierunków: po n dniach, net postęp ≈ √n. Ze spójną długoterminową wizją, wysiłek wyrównuje się: po n dniach, net postęp ≈ n. Stosunek n / √n = √n rośnie bez granic.
Stosunek √n
Kierunkowy spacer nie wymaga doskonałego wycelowania. Każda trwała tendencja w kierunku celu konwertuje dryf √n w coś bliższego postępowi n.
Ograniczenia Modelu
Model, który przewiduje 100x wynik z widzenia, zasługuje na dokładne zbadanie. Kilka rzeczy, które pomija:
1. Wymiarowość: kariery działają w przestrzeni wielowymiarowej, nie ℤ. Geometria losowego spaceru w ℝ^d zmienia się znacznie wraz z d.
2. Korelacja: kroki badawcze się korelują — dzisiejsza praca buduje na wczorajszej. Skorelowane spacery zachowują się inaczej niż kroki niezależne i identycznie rozłożone.
3. Sama wizja może być błędna: kierunkowy spacer w kierunku niewłaściwego atraktora jest gorszy niż dryf.
Czas Podwojenia
Hamming otworzył swój kurs twierdzeniem, że wiedza techniczna podwaja się mniej więcej co 17 lat. To twierdzenie ma precyzyjną strukturę matematyczną: wzrost wykładniczy.
Model Wzrostu Wykładniczego
y(t) = a · e^(b·t)
gdzie a = ilość początkowa w t = 0, b = tempo wzrostu (na jednostkę czasu), e ≈ 2,718.
Czas podwojenia D: czas, w którym y się podwaja.
2a = a · e^(b·D) → 2 = e^(b·D) → ln(2) = b·D → D = ln(2) / b
ln(2) ≈ 0,693. Dla b = 0,693/17 ≈ 0,0408 na rok, czas podwojenia = 17 lat.
Półwartość
Półwartość H: czas, w którym y rozkłada się do połowy swojej wartości (b < 0).
H = ln(2) / |b|
Ten sam wzór w obu kierunkach. Umiejętność z półwartością 5 lat: po 5 latach, połowa jej wartości rynkowej znika. Po 10 latach: jedna czwarta pozostaje. Po 20 latach: mniej niż 7% pozostaje.
Podwojenie Wiedzy
Jeśli wiedza techniczna podwaja się co 17 lat, student ukończyłszy studia w wieku 22 lat napotyka zmieniony krajobraz wiedzy w wieku 56 lat — kariera 34-letnia obejmuje dwa pełne podwojenia.
Półwartość Ekspertyzy
Ten sam model wykładniczy dotyczy rozpadu. Konkretna umiejętność (np. opanowanie konkretnej architektury chip, przestarzałego API, niezastosowanego algorytmu) traci wartość w czasie, gdy dziedzina się przesuwa dalej.
Jeśli półwartość konkretnej umiejętności H = 5 lat, to po t latach ułamek pozostałej wartości: f(t) = (1/2)^(t/H) = 2^(−t/H).
Po jednej półwartości (5 lat): pozostaje 50%. Dwie półwartości (10 lat): 25%. Trzy (15 lat): 12,5%. Cztery (20 lat): 6,25%.
Implikacja Hamminga: wartość uczenia się jak się uczyć rośnie dodatnio z tym samym wykładnikiem, przez który konkretna wiedza rozkłada się. Inwestowanie w strategię uczenia się, kadrowanie problemów, & transferowalne rozumowanie zachowuje wartość w cyklach półwartości.
Geometria, Korekcja Błędów, & Kariera
Trzy struktury geometryczne z tej lekcji wydają się niezwiązane. Się łączą.
Odległość Hamminga formalizuje koszt błędu & redundancję potrzebną do odzyskania. Każdy system komunikacyjny, każda baza kodu, każde ciało wiedzy potrzebuje wystarczająco redundancji, aby błędy pojedyncze nie krupowały całości.
Argument √n kontra n tłumaczy wizję na fakt geometryczny: dryf skaluje się jako odległość od punktu początkowego, kierunkowy ruch skaluje się jako przesunięcie w kierunku celu. Redundancja w strategii kariery — zachowywanie wielu linii zapytania otwartych — buforuje przed przypadkowym błędnym zwrotem.
Wzrost & rozpad wykładniczy rządzi zarówno rozszerzającą się granicą jak i półwartością tego, co dzisiaj znasz. Jedyną stabilną inwestycją: uczenie się jak się uczyć, które rośnie na tym samym skali czasowej, na której specjalistyczna wiedza rozkłada się.