계승이 중요한 이유
해밍은 제9장을 n이 독립 매개변수를 세는 모든 엔지니어링 설계 문제가 n차원 공간에 존재한다는 점을 지적하면서 시작합니다. 그 공간을 이해하려면 계승을 이해해야 합니다. 계승은 모든 n차원 구의 부피 공식 내에 나타납니다.
스털링 근사
큰 n에 대해 n!을 직접 계산하는 것은 불가능해집니다. 스털링 공식은 정확한 근사를 제공합니다:
n! ≈ √(2πn) · (n/e)^n
로그를 취합니다(해밍은 곱을 합으로 변환하기 위해 이를 수행합니다):
ln(n!) ≈ n·ln(n) − n + 0.5·ln(2πn)
근사는 n이 커질수록 개선됩니다: 스털링(n)/n!의 비율이 n → ∞일 때 1로 수렴합니다. 그러나 절댓값 차이는 한계 없이 증가합니다. 두 사실 모두 동시에 성립합니다.
해밍의 도출 경로: 사다리꼴 규칙을 통해 1부터 n까지 k=1..n에 대한 합 Σ ln(k)를 적분 ∫ ln(x) dx로 근사하고, 지수를 취합니다. 상수 √(2π)는 사다리꼴 오차의 극한 행동에서 나옵니다.
| n | 스털링 | 실제 n! | 비율 | |---|---|---|---| | 5 | 118.02 | 120 | 0.9835 | | 10 | 3,598,696 | 3,628,800 | 0.9917 | | 20 | ~2.423×10^18 | ~2.432×10^18 | 0.9958 |
스털링 공식 사용하기
스털링의 로그 형태는 절댓값 크기가 상쇄되는 비율 계산에서 가장 유용합니다:
ln(n!) ≈ n·ln(n) − n + 0.5·ln(2πn)
감마 함수
계승 n!은 음이 아닌 정수에만 의미가 있습니다. 해밍은 모든 양의 실수 n에 대한 구 부피 공식이 필요하므로 감마 함수를 소개합니다:
Γ(n) = ∫₀^∞ x^(n−1) · e^(−x) dx (n > 0일 때 수렴)
부분 적분은 축약 공식을 생성합니다: Γ(n) = (n−1) · Γ(n−1).
양의 정수에서: Γ(n) = (n−1)! 따라서 Γ(5) = 4! = 24.
반정수에서: Γ(1/2) = √π ≈ 1.772. 이는 가우스 적분 ∫₋∞^∞ e^(−x²) dx = √π에서 나옵니다.
구 부피에 필요한 값: 반정수 인수에서 Γ(n/2 + 1).
| n | n/2 + 1 | Γ(n/2 + 1) | |---|---|---| | 1 | 3/2 | √π/2 ≈ 0.886 | | 2 | 2 | 1! = 1 | | 3 | 5/2 | 3√π/4 ≈ 1.329 | | 4 | 3 | 2! = 2 | | 5 | 7/2 | 15√π/8 ≈ 3.323 |
공식 & 역설
스털링과 감마를 갖춘 해밍은 반지름 r인 n차원 구의 부피를 도출합니다:
V_n(r) = C_n · r^n 여기서 C_n = π^(n/2) / Γ(n/2 + 1)
상수 C_n은 r이 아니라 n에만 의존합니다. 첫 번째 값들:
| n | C_n | |---|---| | 1 | 2 | | 2 | π ≈ 3.142 | | 3 | 4π/3 ≈ 4.189 | | 4 | π²/2 ≈ 4.935 | | 5 | 8π²/15 ≈ 5.264 | | 6 | π³/6 ≈ 5.168 | | 8 | π⁴/24 ≈ 4.059 | | 10 | π⁵/120 ≈ 2.550 |
역설: C_n은 n≈5 근처에서 최댓값(C_5 ≈ 5.264)으로 상승한 후 다시 0으로 떨어집니다. 매우 높은 차원의 단위 구는 본질적으로 부피가 없습니다. 더 많은 차원을 추가하면 더 많은 공간이 추가되어야 한다는 직관과는 반대로.
부피가 붕괴하는 이유?
핵심: 부피 = C_n · r^n. r < 1일 때, r^n → 0은 지수 함수적입니다. 반지름 제약이 차원성이 증가하는 것보다 더 빠르게 부피를 죽입니다. n차원 단위 초입방체의 거의 모든 부피는 내접 구 밖의 모서리에 있습니다.
모서리 역설
2D: 단위 정사각형 [−1,1]^2의 면적은 4입니다. 내접 원의 면적은 π ≈ 3.14입니다. 원은 정사각형의 78%를 채웁니다.
3D: 단위 입방체 [−1,1]^3의 부피는 8입니다. 내접 구의 부피는 4π/3 ≈ 4.19입니다. 구는 52%를 채웁니다.
n차원에서: 단위 초입방체 [−1,1]^n의 부피는 2^n입니다. 내접 구의 부피는 C_n입니다. 구 내부의 분수:
f(n) = C_n / 2^n
n이 증가할 때: C_n → 0인 반면 2^n → ∞입니다. 따라서 f(n) → 0은 빠릅니다. 10D에서, 구는 입방체의 0.3% 미만을 채웁니다.
엔지니어링 함의: 높은 차원 설계 공간에서는 무작위 점을 선택하여 샘플링할 수 없습니다. 거의 모든 무작위 점이 중심에서 멀리 떨어진 모서리에 착지합니다. 3D에서 구축된 직관은 완전히 실패합니다.
3D 직관이 실패하는 이유
해밍의 제9장 핵심 메시지: n개의 독립 매개변수를 가진 모든 엔지니어링 시스템은 n차원 공간에 있습니다. 공기역학, 제어 시스템, 칩 설계, 약물 분자 — 모두 n >> 3인 매개변수 공간을 포함합니다.
높은 차원에서 3D 직관의 세 가지 구체적인 실패:
1. 대각선 거리. 3D에서 단위 입방체의 대각선은 √3 ≈ 1.73의 길이를 가집니다. n차원 단위 초입방체에서 대각선은 √n의 길이를 가집니다. n=100의 경우 대각선 길이는 10입니다. 아직도 모든 좌표는 0에서 1까지 실행됩니다. 단일 차원에서 '근처'로 보이는 점들은 n차원 공간에서 멀리 떨어져 있습니다.
2. 부피 농도. 위에 표시된 대로: 부피는 구의 중심이 아니라 모서리에 집중됩니다. 공간의 중심이 일반적이라는 직관이 붕괴됩니다.
3. 이웃 계산. 2D에서 점은 반지름 r 내에서 대략 πr²개의 이웃을 가집니다. nD에서 이웃 계산은 C_n·r^n으로 확장되는데, 큰 n의 경우 작은 r에 대해 효과적으로 0입니다. 이웃이 붕괴됩니다.
해밍의 결론: '당신은 n공간에서 무슨 일이 일어나는지 시각화할 수 없습니다.' 당신은 수학에 의존해야 합니다. 부피, 거리, 확률에 대한 공식에 의존해야 합니다. 상상에 의존하지 않습니다.
기하학 적용
구 부피 붕괴는 현대 관행에 구체적인 결과를 가집니다:
최적화: 높은 차원 매개변수 공간의 경사 하강은 무작위 검색보다 잘 작동합니다. 지역 경사 정보를 활용하여 모서리-공극 구조를 탐색하기 때문입니다.
머신러닝: 신경망 가중치 공간은 수백만 차원을 가집니다. 기하학은 무작위 초기화가 좋은 해에 가까이 착지하는 경우가 드물다고 예측합니다. 하지만 훈련 과정은 구조화된 경사 단계를 통해 향상된 방향으로 이동합니다.
실험 설계: 높은 차원 매개변수 공간을 샘플로 덮으려면 지수적으로 많은 포인트가 필요합니다. 이것은 무작위 샘플링보다 구조화된 실험 설계(라틴 하이퍼큐브, 공간 채우기 설계)를 권장합니다.