Sollevamento a Dimensioni Superiori

XOR non è linearmente separabile in 2D. La soluzione: mappa i dati a uno spazio di dimensioni superiori dove diventa linearmente separabile. Questa è l'idea centrale del kernel trick.

Feature map: una funzione φ: ℝ^n → ℝ^m (m > n) che trasforma ogni punto di input in una rappresentazione di dimensioni superiori.

Per XOR, una feature map utile: φ(x₁, x₂) = (x₁, x₂, x₁x₂)

Questo aggiunge una terza dimensione z = x₁ × x₂. I punti XOR si trasformano in:

- (0,0) → (0, 0, 0), classe 0

- (1,0) → (1, 0, 0), classe 1

- (0,1) → (0, 1, 0), classe 1

- (1,1) → (1, 1, 1), classe 0

In 3D: i punti di classe 0 si trovano a (0,0,0) e (1,1,1); i punti di classe 1 si trovano a (1,0,0) e (0,1,0). Ora trova un piano separatore.

Piano Separatore in 3D

Dopo la feature map φ(x₁, x₂) = (x₁, x₂, x₁x₂), i dati XOR vivono in 3D. Un iperpiano in 3D ha l'equazione w₁x₁ + w₂x₂ + w₃z + b = 0.

Teorema di Cover: Perché le Dimensioni Elevate Aiutano

Teorema di Cover (1965): un problema di classificazione complesso affrontato in uno spazio di dimensioni elevate è più probabile che sia linearmente separabile rispetto a uno spazio di dimensioni basse, a condizione che lo spazio non sia densamente popolato.

Affermazione informale: se mappi n punti dati a uno spazio di dimensione d >> n, la probabilità che un'etichettatura casuale sia linearmente separabile si avvicina a 1.

Versione formale: per n punti in posizione generale in ℝ^d, il numero di dicotomie linearmente separabili (assegnazioni di classe) è esattamente 2 × Σ_{k=0}^{d} C(n−1, k) per d < n, e equivale a 2^n (tutte le dicotomie) per d ≥ n − 1.

Implicazione pratica: la feature map φ che solleva XOR a 3D è un caso speciale di questo principio generale. Sollevare a dimensioni superiori aumenta la probabilità di separabilità. Il costo: più parametri da adattare, rischio più elevato di overfitting.

Il Compromesso Bias-Varianza come Geometria

Limite decisionale a bassa dimensionalità (pochi parametri): alta bias (non può catturare pattern complessi), bassa varianza (stabile tra i campioni). Limite a alta dimensionalità (molti parametri): bassa bias, alta varianza (può sovra-adattarsi al rumore nei dati di training).

Dimensione VC: Quanto è Espressivo un Classificatore?

La dimensione Vapnik-Chervonenkis (VC) di una classe di ipotesi H misura quanto è complessa la classe: il numero maggiore di punti che H può frantumare (classificare correttamente in tutti i 2^n possibili etichettamenti).

Percettrone in ℝ^d: dimensione VC = d + 1. Un iperpiano d-dimensionale può frantumare d + 1 punti (in posizione generale) ma non d + 2.

La dimensione VC determina la complessità del campione: per imparare un'ipotesi con errore di generalizzazione ε con probabilità 1 − δ, hai bisogno di circa n ≥ (d × log(1/ε) + log(1/δ)) / ε campioni, dove d è la dimensione VC.

Limiti Decisionali e Limiti di Capacità della Macchina

La geometria dei limiti decisionali si collega direttamente ai limiti di ragionamento della macchina di Hamming.

Un percettrone a strato singolo (classificatore a iperpiano) non può risolvere XOR. Questa era la critica di Minsky & Papert ai percettroni iniziali nel 1969. L'argomento geometrico: XOR non è linearmente separabile. La macchina non può risolverlo, non a causa della mancanza di potenza di calcolo, ma a causa di un'incompatibilità geometrica fondamentale tra la classe di ipotesi e il problema.

La soluzione: le reti multi-strato possono rappresentare limiti non-lineari. I layer nascosti implementano la feature map φ — sollevando i dati a dimensioni superiori dove la separazione lineare diventa possibile. Ogni neurone nascosto calcola un iperpiano; la combinazione di più iperpiani approssima le curve.

Questa storia si mappa sull'osservazione di Hamming: ogni limitazione del ragionamento della macchina ha una struttura geometrica sottostante. Il compito non è discutere se le macchine 'possono pensare' ma identificare i vincoli geometrici e trovare modi per aggirarli.