Regresión lineal en la que no es tan mala como sobrepasar

Question

Dado un conjunto de puntos de $(x_i, y_i)$, regresión lineal de mínimos cuadrados se encuentra la función lineal $L$ tal que $$\sum \varepsilon(y_i, L(x_i))$$ es minimizado, donde $\varepsilon(y, y') = (y-y')^2$ es el error cuadrático entre el real $y_i$ valor y el predicho por $L$ de $x_i$.

Supongamos que quiero hacer lo mismo, pero quiero usar la siguiente función de penalización en lugar de $\varepsilon$: $$ \epsilon(y, L(x)) = \casos de{y-L(x) & \text{si $y>L(x)+1$} \\ (y-L(x))^2 & \text{si $y\le L(x)+1$}}$$

Si el amueblada línea pasa a una cierta distancia por debajo de los datos reales de punto, quiero penalice mucho menos severamente que si la línea pasa a la misma distancia por encima del punto de datos. (El umbral para el uso de la más barata función de penalización es $y > L(x)+1$ en lugar de $y > L(x)$, de modo que sobrerreacción por cierta cantidad $\delta<1$ no está penalizado menos de undershooting por la misma cantidad-no queremos overpenalize $L$ para undershooting por muy poco!)

Podría escribir un programa de computadora para resolver este numéricamente, mediante el uso de una escalada el algoritmo o algo similar. Pero me gustaría saber si hay alguna enfoques analíticos. Si trato de seguir el enfoque que funciona en la habitual función de penalización, me quedo atascado en los comienzos, porque no parece haber ninguna manera de ampliar la expresión de $\epsilon(y_i, mx_i+b)$ algebraicamente.

Espero que el problema ha sido estudiado con diferentes funciones de penalización, y yo estaría contento de una referencia a un buen libro de texto.

Answer 1

En el sentido estricto del término, métodos de mínimos cuadrados lidiar con situaciones donde $$\epsilon(y,L(x))= (y-L(x))^2$$

Tales errores se prestan fácilmente a modelar, a través de las ecuaciones normales. Otros de error métricas no tienen la forma cerrada de las soluciones. Son generalmente iterativo en la naturaleza.

El tema que usted está buscando es su método general, la función de penalización método. Búscalo en google y encontrarás un montón de referencias. Aquí es un buen lugar para empezar. Déjeme saber si usted quiere algo específico.

Answer 2

Su pena no es una función convexa. Me sugieren $$\begin{align} \epsilon(r) &= \begin{cases}r & \text{if } r > 1 \\ \frac12 (r^2 + 1) & \text{if } r \le 1\end{casos} \\ &= r + \frac12\min(r-1,0)^2, \end{align}$$ donde $r=y-L(x)$. Este es continua, diferenciable, convexa, tiene mínimo en $0$, y tiene una simple algebraico-ish forma.

Sin embargo, dudo que haya alguna de soluciones analíticas cuando a trozos funciones polinómicas están involucrados. Se puede observar que la red objetivo $\sum \epsilon(y_i-L(x_i))$ es por tramos de segundo grado, y los límites de las piezas son lineales. Así que usted podría hacer de programación cuadrática por encima de la corriente de la pieza; si la solución se encuentra en un límite, cambie a la pieza adyacente; y repetir. No sé si esto va a ser más rápida que un general de optimización no lineal, a pesar de que, especialmente desde la función parece bastante agradable (convexa diferenciable, y esperemos que no demasiado mal a escala).