Distanz im binären Raum
Die wohl berühmteste technische Beiträge von Richard Hamming: Fehlerkorrekturcodes. Die geometrische Idee hinter ihnen reicht tiefer als jede spezifische Code.
Hamming-Distanz
Zwischen zwei binären Zeichen gleicher Länge zählt die Hamming-Distanz d(u, v) die Positionen, an denen sie sich unterscheiden:
``
u = 1 0 1 1 0
v = 1 1 1 0 0
↑ ↑
d(u,v) = 2
``
Sie erfüllen alle drei metrischen Axiome: d(u,v) ≥ 0; d(u,v) = 0, falls u = v; d(u,v) = d(v,u); d(u,w) ≤ d(u,v) + d(v,w). Der binäre n-Raum mit Hamming-Distanz bildet ein gültiges metrisches Raum.
Die Geometrie visualisiert sich klar in niedrigen Dimensionen. Alle 3-Bit-Zeichen leben an den 8 Ecken eines Würfels. Kantenbenachbarte Ecken unterscheiden sich in genau 1 Bit; Gesichtsdiagonale Ecken unterscheiden sich in 2; antipodale Ecken (z.B. 000 und 111) unterscheiden sich in 3.
Berechnung der Hamming-Distanz
Hamming-Weight wt(v) zählt die Anzahl der 1s in v. Die Distanz ist mit der Weight über XOR verbunden:
d(u, v) = wt(u XOR v)
Beispiel: u = 10110, v = 11100. XOR = 01010. Weight = 2. Also d(u,v) = 2.
Fehlerkorrektur durch Kugelpackung
Ein binärer Code C ⊆ {0,1}^n besteht aus ausgewählten Codewörtern. Wenn ein Codewort über einen fehleranfälligen Kanal übertragen wird, können einige Bits umgekippt werden. Der Empfänger erhält ein verändertes Zeichen und muss das Original wiederherstellen.
Definiere einen Hamming-Kugel mit Radius t um Codewort c:
B(c, t) = { v ∈ {0,1}^n : d(c, v) ≤ t }
Um bis zu t Fehler zu korrigieren, dürfen die Kugeln B(c, t) um jeden Paar von Codewörtern nicht überschneiden. Wenn sie überschneiden, könnte ein empfangener Wort in zwei Kugeln liegen und der Dekoder kann nicht bestimmen, welcher Codewort gesendet wurde.
Das minimalste Abstand d_min eines Codes bestimmt alles:
- Erkennen von bis zu d_min − 1 Fehlern - Korrigieren von bis ⌊(d_min − 1) / 2⌋ Fehlern
Hamming (7,4) Code: n = 7 Bit, k = 4 Datenbit, d_min = 3. Korrigiert 1 Fehler. Erkennet 2.
Wie viele Codewörter passen?
Wie viele Codewörter kann ein Länge-n-Code enthalten, während er noch t Fehler korrigiert? Jedes Codewort 'besitzt' eine Kugel mit Radius t. Alle Kugeln müssen zusammen im {0,1}^n, das 2^n Punkte hat, passen.
Volumen einer Hamming-Kugel mit Radius t in {0,1}^n:
Vol(n,t) = Σ_{i=0}^{t} C(n, i)
Das Hamming-Grenzverfahren (Kugelpackungsverfahren) folgt direkt: Ein Code, der t Fehler korrigiert, erfüllt
M · Vol(n,t) ≤ 2^n
wobei M die Anzahl der Codewörter ist. Also M ≤ 2^n / Vol(n,t).
Für den Hamming (7,4) Code: n=7, t=1. Vol(7,1) = C(7,0) + C(7,1) = 1 + 7 = 8. Grenze: M ≤ 128 / 8 = 16. Der (7,4) Code erreicht M = 2^4 = 16: ein perfekter Code, was bedeutet, dass die Kugeln {0,1}^7 ohne Lücken mit einem Abstand von 1 Bit füllen.
√n vs n
Hamming verwendete einen Zufalls-gang-Argument, um den Wert des langfristigen Sehvermögens genau zu machen. Das Argument wandelt einen vagen Anspruch - 'Sehen hilft' - in ein geometrisches Tatsache über Entfernungen um.
Symmetrischer Zufalls-gang auf ℤ
Bei jedem Schritt geht es +1 oder −1 mit gleicher Wahrscheinlichkeit. Nach n Schritten erwartete Verschiebung vom Ursprung: E[|X_n|] ≈ √n.
Das folgt aus der Varianz: Var(X_n) = n (Schritte unabhängig, jeder ±1 Varianz 1). Standardabweichung = √n.
Gerichteter Gang
Bei jedem Schritt geht es +1 mit Wahrscheinlichkeit p > 1/2 (Vorverlagung eines Ziels). Nach n Schritten erwartete Position: E[X_n] = n(2p−1). Für p = 1 (vollständig gerichtet): E[X_n] = n.
Der Kontrast: zufälliger Schub skaliert als √n; gerichtetes Vorankommen skaliert als n.
Hamming's Übersetzung
In einer Forschungslaufbahn repräsentiert jeder Arbeitstag einen Schritt. Ohne ein klares Sehvermögen, was zählt, treibt die Arbeit in viele Richtungen: nach n Tagen netto Fortschritt ≈ √n. Mit einer kohärenten langfristigen Vision ordnet sich das Bemühen an: nach n Tagen netto Fortschritt ≈ n. Das Verhältnis n / √n = √n wächst unbegrenzt.
Das √n Verhältnis
Der gerichtete Gang erfordert keinen perfekten Anlauf. Jede beständige Neigung in Richtung eines Ziels wandelt √n-Schub in etwas näheres an n-Fortschritt um.
Grenzen des Modells
Ein Modell, das eine Ausbeute von 100x aus der Vision voraussagt, verdient eine kritische Überprüfung. Es vergisst mehrere Dinge:
1. Dimensionalität: Karrieren finden in einem hochdimensionalen Raum statt, nicht ℤ. Die Geometrie eines zufälligen Wanders in ℝ^d ändert sich erheblich mit d.
2. Korrelation: Forschungsschritte korrelieren - heute geleistete Arbeit baut auf gesterns auf. Gekoppelte Wanderschritte verhalten sich anders als unabhängige Schritte.
3. Die Vision selbst könnte falsch sein: ein gerichteter Weg zu einem falschen Attraktor ist schlechter als Treiben.
Doppelungsdauer
Hamming begann seinen Kurs mit der Behauptung, dass technisches Wissen sich ungefähr alle 17 Jahre verdoppelt. Diese Behauptung hat eine präzise mathematische Struktur: exponentielles Wachstum.
Exponentialwachstumsmodell
y(t) = a · e^(b·t)
wobei a = Anfangsmenge bei t = 0, b = Wachstumsrate (pro Zeiteinheit), e ≈ 2,718.
Doppelungsdauer D: die Zeit, um y zu verdoppeln.
2a = a · e^(b·D) → 2 = e^(b·D) → ln(2) = b·D → D = ln(2) / b
ln(2) ≈ 0,693. Für b = 0,693/17 ≈ 0,0408 pro Jahr beträgt die Doppelungsdauer 17 Jahre.
Halbwertszeit
Halbwertszeit H: die Zeit, um y auf die Hälfte seines Wertes zu reduzieren (b < 0).
H = ln(2) / |b|
Die gleiche Formel in beide Richtungen. Eine Fähigkeit mit einer Halbwertszeit von 5 Jahren: nach 5 Jahren, die Hälfte ihres Marktwertes verloren. Nach 10 Jahren: ein Viertel bleibt. Nach 20 Jahren: weniger als 7% bleibt.
Wissensverdopplung
Wenn die technische Kenntnis alle 17 Jahre verdoppelt, stellt sich für einen Absolventen, der im Alter von 22 Jahren abschließt, eine veränderte Kenntnislandschaft im Alter von 56 Jahren dar – eine 34-jährige Karriere umfasst zwei volle Verdopplungen.
Halbwertszeit des Fachwissens
Das gleiche exponentielle Modell gilt für die Verfallsgeschwindigkeit. Eine spezifische Fähigkeit (z. B. das Verständnis einer bestimmten Chiparchitektur, eines veralteten APIs, eines überholten Algorithmus) verliert an Wert, je mehr sich das Feld weiterentwickelt.
Wenn die Halbwertszeit einer spezialisierten Fähigkeit H = 5 Jahre beträgt, dann nach t Jahren verbleibt der Bruchteil des ursprünglichen Wertes: f(t) = (1/2)^(t/H) = 2^(-t/H).
Nach einer Halbwertszeit (5 Jahre): 50% verbleiben. Zwei Halbwertszeiten (10 Jahre): 25%. Drei (15 Jahre): 12,5%. Vier (20 Jahre): 6,25%.
Hamming's Implikation: Der Wert von Lernen sich selbst zu lehren verdoppelt sich positiv mit demselben Exponenten, mit dem sich spezialisiertes Wissen verliert. Die Investition in Lernstrategien, Problemlösung und übertragbare Denkweise bewahrt den Wert über Halbwertszeitzyklen.
Geometrie, Fehlerkorrektur und Karriere
Die drei geometrischen Strukturen aus diesem Unterricht erscheinen getrennt. Sie verbinden sich.
Hamming-Abstand formalisiert den Fehlerkosten und die Notwendigkeit von Redundanzen, um daraus wiederzukommen. Jedes Kommunikationssystem, jede Codebasis, jede Kenntnisbank benötigt genügend Redundanzen, dass einzelne Fehler das Ganze nicht verderben.
Die √n vs n-Argumentation übersetzt Vision in eine geometrische Tatsache: Treibjahrzehnte skaliert als Entfernung von einem Ausgangspunkt, gezieltes Handeln skaliert als Verschiebung in Richtung eines Ziels. Redundanzen in der Karrierestrategie - mehrere Linien der Erforschung offen halten - puffer gegen den gelegentlichen Irrweg.
Exponentielle Wachstum und Verfall bestimmen sowohl das expandierende Vorfeld als auch die Halbwertszeit dessen, was Sie heute wissen. Die einzige stabile Anlage: zu lernen, was Lernen bedeutet, was auf derselben Zeitskala wächst, auf der sich spezialisiertes Wissen verändert.