¿Por qué el margen SVM es igual a $\frac{2}{\|\mathbf{w}\|}$ ?

Question

Estoy leyendo el artículo de Wikipedia sobre Máquina de vectores soporte y no entiendo cómo calculan la distancia entre dos hiperplanos.

En el artículo,

B es $\frac{2}{\|\mathbf{w}\|}$

No entiendo cómo se llega a ese resultado.

Lo que he probado

He intentado crear un ejemplo en dos dimensiones con un hiperplano que tiene la ecuación $y = -2x+5$ y separando algunos puntos $A(2,0)$ , $B(3,0)$ et $C(0,4)$ , $D(0,6)$ .

Si tomo un vector $\mathbf{w}(-2,-1)$ normal a ese hiperplano y calcular el margen con $\frac{2}{\|\mathbf{w}\|}$ Recibo $\frac{2}{\sqrt{5}}$ cuando en mi ejemplo el margen es igual a 2 (distancia entre $C$ et $D$ ).

¿Cómo se les ocurrió $\frac{2}{\|\mathbf{w}\|}$ ?

Answer 1

Sea $\textbf{x}_0$ sea un punto del hiperplano $\textbf{wx} - b = -1$ es decir, $\textbf{wx}_0 - b = -1$ . Para medir la distancia entre hiperplanos $\textbf{wx}-b=-1$ et $\textbf{wx}-b=1$ sólo tenemos que calcular la distancia perpendicular desde $\textbf{x}_0$ al avión $\textbf{wx}-b=1$ denotado como $r$ .

Tenga en cuenta que $\frac{\textbf{w}}{\|\textbf{w}\|}$ es un vector normal unitario del hiperplano $\textbf{wx}-b=1$ . Tenemos $$ \textbf{w}(\textbf{x}_0 + r\frac{\textbf{w}}{\|\textbf{w}\|}) - b = 1 $$ desde $\textbf{x}_0 + r\frac{\textbf{w}}{\|\textbf{w}\|}$ debe ser un punto en el hiperplano $\textbf{wx}-b = 1$ según nuestra definición de $r$ .

Expandiendo esta ecuación, tenemos \begin{align*} & \textbf{wx}_0 + r\frac{\textbf{w}\textbf{w}}{\|\textbf{w}\|} - b = 1 \\ \implies &\textbf{wx}_0 + r\frac{\|\textbf{w}\|^2}{\|\textbf{w}\|} - b = 1 \\ \implies &\textbf{wx}_0 + r\|\textbf{w}\| - b = 1 \\ \implies &\textbf{wx}_0 - b = 1 - r\|\textbf{w}\| \\ \implies &-1 = 1 - r\|\textbf{w}\|\\ \implies & r = \frac{2}{\|\textbf{w}\|} \end{align*}

Answer 2

Sea $\textbf{x}_+$ sea un ejemplo positivo en un canalón, tal que $$\textbf{w} \cdot \textbf{x}_+ - b = 1$$

Sea $\textbf{x}_-$ sea un ejemplo negativo en otro canalón, tal que $$\textbf{w} \cdot \textbf{x}_- - b = -1$$

El ancho del margen es el proyección escalar de $\textbf{x}_+ - \textbf{x}_-$ sobre el vector normal unitario , es decir, la producción de puntos de $\textbf{x}_+ - \textbf{x}_-$ et $\frac{\textbf{w}}{\|\textbf{w}\|}$

\begin{align} width & = (\textbf{x}_+ - \textbf{x}_-) \cdot \frac{\textbf{w}}{\|\textbf{w}\|} \\ & = \frac {(\textbf{x}_+ - \textbf{x}_-) \cdot {\textbf{w}}}{\|\textbf{w}\|} \\ & = \frac{\textbf{x}_+ \cdot \textbf{w} \,{\bf -}\, \textbf{x}_-\cdot \textbf{w}}{\|\textbf{w}\|} \\ & = \frac{1-b-(-1-b)}{\lVert \textbf{w} \rVert} \\ & = \frac{2}{\|\textbf{w}\|} \end{align}

Lo anterior se refiere a MIT 6.034 Inteligencia Artificial

Answer 3

El margen es igual a la distancia más corta entre los puntos de los dos hiperplanos. Sea $\mathbf{x_1}$ sea un punto de un hiperplano, y $\mathbf{x}_2$ sea un punto del otro hiperplano. Queremos encontrar el valor mínimo de $\lVert \mathbf{x}_1 - \mathbf{x}_2 \rVert$ . Desde \begin{align} \mathbf{w}\cdot\mathbf{x}_1 - b &= 1,\\ \mathbf{w}\cdot\mathbf{x}_2 - b &= -1, \end{align} tenemos $$\mathbf{w}\cdot(\mathbf{x}_1 - \mathbf{x}_2) = 2.$$ Por la desigualdad de Cauchy-Schwarz, tenemos $$\lVert \mathbf{w} \rVert \lVert \mathbf{x}_1 - \mathbf{x}_2 \rVert \geq 2,$$ y por lo tanto $$\lVert \mathbf{x}_1 - \mathbf{x}_2 \rVert \geq \frac{2}{\lVert \mathbf{w} \rVert },$$ donde la igualdad se mantiene cuando $\mathbf{w}$ et $\mathbf{x}_1-\mathbf{x}_2$ son linealmente dependientes (lo que evidentemente siempre es posible).