기하학적 계산으로서의 네트워크 값

Hamming은 응용이 하드웨어나 소프트웨어보다 더 많이 컴퓨팅 채택을 주도한다고 지적했습니다. 네트워크 종속 응용은 특정 성장 모델을 따릅니다: 그들의 값이 비용보다 빠르게 증가합니다.

메칼프의 법칙

n명의 사용자가 있는 네트워크의 값은 사용자 간의 가능한 연결 수에 비례합니다:

V(n) = k · n(n−1)/2 ≈ k · n²/2 (큰 n의 경우)

여기서 k는 한 연결의 값입니다. 네트워크의 비용: C(n) ∝ n (사용자 수에서 대략 선형)

값 대 비용 비율: V/C ∝ n²/n = n. n이 성장함에 따라 비율은 선형으로 성장합니다. 10배 더 많은 사용자를 가진 네트워크는 비용의 10배에서만 대략 100배 더 많은 값을 제공합니다.

기하학적 그림

n개 노드가 있으면, 완전 그래프 K_n의 간선 수는 C(n,2) = n(n−1)/2입니다. 이는 조합 공식입니다: n에서 2개 노드를 선택합니다. n=10의 경우: C(10,2)=45. n=100의 경우: C(100,2)=4950. n=1000의 경우: C(1000,2)=499,500.

S-곡선과 메칼프의 법칙은 상호작용합니다: 2단계 빠른 채택 동안, n은 빠르게 성장하고, V(n)은 n²으로 성장합니다. 값 변곡점은 채택 변곡점 이전에 발생합니다 — 값이 채택보다 먼저 가속화되어 양의 피드백 루프에서 더 많은 채택을 끌어냅니다.

다양한 채택 수준에서의 네트워크 값

이메일 채택: 1985년(n=100,000명의 사용자), k = 연결년당 $0.01. 1995년(n=30,000,000명의 사용자).

기하학으로서의 최적화

Hamming의 Boeing 테이프 이야기는 정확한 기하학적 의미를 가진 최적화 실패를 설명합니다. 함수 f(x)의 최적화는 다음이 필요합니다:

1. 잘 정의된 함수 f: 목표(항력, 비용, 출시까지의 시간)

2. 고정된 지형: 매번 같은 상태에서 평가된 f

3. 경사: 가장 가파른 개선의 방향

측정 사이에 지형이 변할 때, 추정한 경사는 다음 단계를 밟을 때 더 이상 존재하지 않는 방향을 가리킬 수 있습니다. 당신은 gradient(f₁)를 계산하지만 지형 f₂에서 단계를 밟고 있습니다.

경사 하강

표준 경사 하강: x_{t+1} = x_t − α ∇f(x_t)

여기서 α = 단계 크기(학습률), ∇f = 경사 벡터(편미분).

Boeing 실패: 시간 t에서, 팀은 f(x_t)를 측정합니다. 시간 t+1에서, 팀은 x를 x_t + Δx로 변경합니다. 하지만 공유 데이터베이스도 변경되었습니다: f는 이제 f' ≠ f입니다. 관찰된 변화: f'(x_t + Δx) − f(x_t). 이것은 f의 경사가 아닙니다 — 여기에는 지형 시프트의 항이 포함됩니다.

유령 경사

측정된 변화 = [f'(x+Δx) − f(x)] = [f(x+Δx) − f(x)] + [f'(x+Δx) − f(x+Δx)]

= 진정한 경사 × Δx + 지형 시프트

지형 시프트가 지배적이면: 팀은 f'에서 최소값으로 향해 이동하는데 이는 f에서 최대값입니다. 그들은 잘못된 것을 최적화합니다 — 측정은 개선을 보여주면서 가능하면 그들의 설계를 악화시킵니다.

유령 경사 오류의 정량화

팀은 항력 f(θ, s)를 최적화합니다. 여기서 θ = 날개 각도, s = 스팬. 진정한 경사: ∂f/∂θ = −0.5 (항력은 θ와 함께 감소), ∂f/∂s = +0.3 (항력은 s와 함께 증가).

또 다른 팀은 동시에 동체 무게를 줄입니다. 이는 항력 함수를 변경합니다: f' = f − 0.8. (더 가벼운 동체는 모든 구성에서 항력을 0.8 단위로 줄입니다.)

첫 번째 팀은 다음을 측정합니다: f'(θ+Δθ, s) − f(θ, s) = [f(θ+Δθ, s) − 0.8] − f(θ, s) = −0.5·Δθ − 0.8.