Vi esta notación por mínimos cuadrados ordinarios aquí.
$$ \min_w \left\| Xw - y \right\|^2_2$$
Yo nunca he visto el doble de barras y el 2 en la parte inferior. ¿Qué hacen estos símbolos significan? Tienen la terminología específica de ellos?
Respuesta
¿Demasiados anuncios?
Estamos hablando de la $\ell_2$-norma (norma Euclídea) del vector ($Xw - y$). Si este extranjero a usted, brevemente, el $\ell_p$-norma de un vector $u \in \mathbb{R}^{n}$, es:
$$\|u\|_p = \big(\sum_{i=1}^{n} |u_i|^p\big)^{\frac1p} $$
Así que, en su caso $\|u\|_2^2 = (\big(\sum\limits_{i=1}^{n} |u_i|^2\big)^{\frac12})^2 = \sum\limits_{i=1}^{n} u_i^2$, lo que es coherente con la suma de los cuadrados de los residuales de una regresión lineal. En el contexto de los problemas de regresión, también verás que hay mucho de esto en el error cuadrático medio (MSE), los cálculos, y en la cresta de la regresión.
Esta es una norma común (entre otras razones, es conveniente matemáticamente), así que cuando es obvio por el contexto, verás la parte inferior $2$ omite, y sólo $\|u\|^2$.
Como se ha mencionado en los comentarios, también puede ver el $\ell_1$norma:
$$\|u\|_1 = \sum_{i=1}^{n} |u_i| $$
Que se corresponde con el valor absoluto. De nuevo, vas a ver que esta en el error absoluto medio (MAE) o lazo problemas.
Entre otras normas:
- $\ell_0$norma: la distancia de Hamming, o # de la no-ceros en un vector, es decir, en el cálculo de la dispersión de un vector. Técnicamente esto no es una norma (que es la cardinalidad de la función), debido a que tienen un $\frac{1}{0}$ plazo en la definición, pero tiene la forma de una norma que así lo llamamos.
- Esta norma es el ideal de la norma utilizada en la inducción de la dispersión de los problemas de regresión ya que realmente queremos puesta a cero de los coeficientes, sin embargo computing $\ell_0$ regularización es NP-duro, así que en su lugar hemos aproximado con $\ell_1$ que es solucionable a través de la programación lineal. También es popular en Comprimido de Detección.
- $\ell_{\infty}$-norma: = $\underset{i} {\text{max}}$ $\{|x_i|\}$ para $i = 1, ..., n$
- $\|A\|_F$: Frobenius (Euclidiana) de la norma, aplicada a una matriz de $A \in \mathbb{R}^{n\times m} = \sqrt{\sum \limits_{i=1}^{n}\sum \limits_{j=1}^{m}|a_{ij}|^2}$
