二进制空间中的距离
Richard Hamming最著名的技术贡献:纠错码。它们背后的几何思想比任何具体的码都更深层。
汉明距离
给定两个等长的二进制字符串,汉明距离 d(u, v) 计算它们不同的位置数:
``
u = 1 0 1 1 0
v = 1 1 1 0 0
↑ ↑
d(u,v) = 2
``
这满足所有三个度量公理:d(u,v) ≥ 0;d(u,v) = 0当且仅当u = v;d(u,v) = d(v,u);d(u,w) ≤ d(u,v) + d(v,w)。带有汉明距离的二进制n维空间形成一个有效的度量空间。
几何形状在低维空间中清晰可见。所有3位字符串位于立方体的8个顶点处。边相邻的顶点在恰好1位上不同;面对角线顶点在2位上不同;对应的顶点(例如000和111)在3位上不同。
计算汉明距离
汉明权重 wt(v) 计算v中1的个数。距离通过XOR与权重相关联:
d(u, v) = wt(u XOR v)
例子:u = 10110,v = 11100。XOR = 01010。权重 = 2。所以 d(u,v) = 2。
通过球堆积进行错误纠正
二进制码 C ⊆ {0,1}^n 由选定的码字组成。当一个码字通过噪声信道传输时,某些比特可能会翻转。接收方收到一个损坏的字符串,必须恢复原始的。
定义以码字c为中心、半径为t的汉明球:
B(c, t) = { v ∈ {0,1}^n : d(c, v) ≤ t }
要纠正多达t个错误,每对码字周围的球 B(c, t) 不能重叠。如果它们重叠,接收到的字可能在两个球中,解码器无法确定发送了哪个码字。
码的最小距离 d_min 管理一切:
- 检测多达 d_min − 1 个错误 - 纠正多达 ⌊(d_min − 1) / 2⌋ 个错误
汉明(7,4)码:n = 7比特,k = 4数据比特,d_min = 3。纠正1个错误。检测2个。
有多少码字适合?
当仍然能纠正t个错误时,一个长度为n的码能包含多少个码字?每个码字'拥有'一个半径为t的球。所有球必须一起放入{0,1}^n中,其中有2^n个点。
汉明球的体积,半径为t,在{0,1}^n中:
Vol(n,t) = Σ_{i=0}^{t} C(n, i)
汉明界(球堆积界)直接跟随:纠正t个错误的码满足
M · Vol(n,t) ≤ 2^n
其中 M = 码字的个数。所以 M ≤ 2^n / Vol(n,t)。
对于汉明(7,4)码:n=7,t=1。Vol(7,1) = C(7,0) + C(7,1) = 1 + 7 = 8。界:M ≤ 128 / 8 = 16。(7,4)码达到 M = 2^4 = 16:一个完美码,意思是球在{0,1}^7中完全铺设,没有间隙。
√n 对比 n
Hamming用随机游走论证来精确化长期视觉的价值。这个论证将一个模糊的声明——'视觉有帮助'——转变为关于距离的几何事实。
ℤ 上的对称随机游走
每一步,以相等的概率移动 +1 或 −1。在n步后,距离原点的预期偏移:E[|X_n|] ≈ √n。
这来自方差:Var(X_n) = n(步骤独立,每个±1方差1)。标准偏差 = √n。
定向游走
每一步,以概率 p > 1/2 移动 +1(偏向目标)。在n步后,预期位置:E[X_n] = n(2p−1)。对于 p = 1(完全定向):E[X_n] = n。
对比:随机漂移按 √n 缩放;定向进展按 n 缩放。
Hamming的转化
在研究生涯中,每个工作日代表一步。没有清晰的愿景说明什么重要,工作在许多方向上漂移:在n天后,净进展 ≈ √n。有一个连贯的长期愿景,努力协调一致:在n天后,净进展 ≈ n。比率 n / √n = √n 无限增长。
√n 比率
定向游走不需要完美瞄准。任何持续指向目标的偏见都将 √n 漂移转变为接近 n 的进展。
模型的局限
一个预测视觉产生100倍输出的模型值得审视。它遗漏了几件事:
1. 维度:职业在高维空间中运作,不是ℤ。随机游走在ℝ^d中的几何随d的变化而显著变化。
2. 相关性:研究步骤相关——今天的工作建立在昨天的基础上。相关的游走表现不同于独立同分布的步骤。
3. 愿景本身可能是错误的:向错误的吸引子的定向游走比漂移更糟。
倍增时间
Hamming用以下主张开启他的课程:技术知识大约每17年翻倍一次。这个主张有精确的数学结构:指数增长。
指数增长模型
y(t) = a · e^(b·t)
其中 a = t = 0 时的初始量,b = 增长率(单位时间),e ≈ 2.718。
倍增时间 D:y翻倍的时间。
2a = a · e^(b·D) → 2 = e^(b·D) → ln(2) = b·D → D = ln(2) / b
ln(2) ≈ 0.693。对于 b = 0.693/17 ≈ 0.0408 每年,倍增时间 = 17年。
半衰期
半衰期 H:y衰减到一半其值的时间(b < 0)。
H = ln(2) / |b|
同一个公式在两个方向。一个半衰期为5年的技能:在5年后,一半其市场价值消失。在10年后:四分之一仍保留。在20年后:少于7%保留。
知识倍增
如果技术知识每17年翻倍,一个22岁毕业的学生到56岁面临一个转变的知识景观——34年的职业生涯跨越两个完整倍增。
专业知识的半衰期
同一个指数模型应用于衰减。一个具体的技能(例如掌握一个特定芯片架构、一个弃用的API、一个过时的算法)随着该领域向前迈进而失去价值。
如果一个专门技能的半衰期 H = 5年,则在t年后保留的原始价值分数:f(t) = (1/2)^(t/H) = 2^(−t/H)。
在一个半衰期后(5年):50%保留。两个半衰期(10年):25%。三个(15年):12.5%。四个(20年):6.25%。
Hamming的含义:学习如何学习的价值与专门知识衰减所用的相同指数以正的方向复合。投资学习策略、问题框架及可转移推理在半衰期循环中保留价值。
几何、错误纠正与职业
这个课程的三个几何结构看起来不连接。它们连接。
汉明距离将错误的成本和从中恢复所需的冗余形式化。每个通信系统、每个代码库、每个知识体都需要足够的冗余,使得单一错误不会损坏整体。
√n 对比 n 论证将愿景转变为几何事实:漂移按距离起点的比例缩放,定向运动按朝向目标的位移缩放。职业策略的冗余——保持多条调查线开放——缓冲偶然的错误转向。
指数增长与衰减管理扩大的前沿和你今天知道的东西的半衰期。唯一稳定的投资:学习如何学习,这在相同的时间尺度上复合,专门知识衰减。