La distribución gaussiana en el contexto bayesiano es equivalente a minimizar el error cuadrático, mientras que la distribución de Laplace minimiza el error absoluto y conduce a la regresión lasso. ¿Qué (si alguna) distribución previa se puede considerar como una alternativa a la función de pérdida de Huber?
Veamos qué sucede cuando consideramos la probabilidad.
En cada caso que mencionas, tu densidad es proporcional a $e^{-k.L(x-\mu)}$.
Podemos ver que este será el caso más general que solo esos casos, porque tomando esta densidad y escribiendo el logaritmo negativo de la probabilidad obtenemos $\sum_i L(x_i-\mu)$ como un objeto a minimizar.
Consecuentemente obtenemos una densidad con un centro gaussiano y colas exponenciales que dan lugar a una pérdida tipo Huber.
A veces se llama a esto la densidad de Huber.
Ver funciones $\rho$ en M-estimadores, donde la conexión entre la densidad(/probabilidad) y la función de pérdida a menudo se hace explícita. (Este es el contexto en el que Huber desarrolló la función de pérdida.)
Gracias, pero ¿podrías extender la parte de "cada caso que mencionas", porque no estoy 100% seguro si entiendo lo que querías decir..?
@Tim Tome $L = \frac12 (\theta-x)^2 $. La densidad gaussiana es $\propto \exp(-L)$. Tome $L = |\theta-x|$. La densidad de Laplace es $\propto \exp(-L)$. Mi exposición es un poco simplista porque no ha quedado claro exactamente qué cálculo de pérdida estás realizando aquí (por eso pasé a hablar sobre la verosimilitud). Si muestras una progresión particular de $L$ a las densidades que mencionas o viceversa (lo que equivale a ser explícito sobre cómo configurar completamente el problema de alguna manera específica de modo que se correspondan), debería ser posible hacer lo mismo aquí.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
