Método eficiente para la regresión de Laplace

Question

Quiero calcular numéricamente los estimadores de máxima verosimilitud de $(\beta,\sigma)$ para el modelo de regresión lineal:

$$y_j = x_j^{\top}\beta + \epsilon_j, $$

donde $j=1,\dots,n$, $\beta$ es $p$-dimensional, y $\epsilon_j$ son yo.yo.d. de acuerdo a una distribución de Laplace de la ubicación de cero y la escala de la $\sigma$.

Dada la la diferenciabilidad problemas con esta distribución, no puedo obtener el MLE de $\beta$ mediante la resolución de la puntuación de las funciones. Necesito hacer esto para un número de conjuntos de datos con un gran $p$. Hay un método eficiente para hacerlo?

Answer 1

El MLE minimiza

$\min \| X \beta - y\|_{1}$

Desafortunadamente, no hay ninguna simple de la forma cerrada de la solución a este problema de optimización. Sin embargo, este es un problema de optimización convexa para los cuales hay muchos métodos disponibles.

Razonablemente pequeño de casos (por ejemplo, $n$ sobre el orden de las $100,000$ $p$ es de menos de decir $1,000$), el enfoque más simple es el uso de la programación lineal rutina de biblioteca para resolver el problema de programación lineal:

$\min \sum_{i=1}^{n} t_{i}$

sujeto a

$t \geq X\beta-y$

$t \geq y-X\beta$.

Para las grandes instancias (por ejemplo, $n$ está en los miles de millones o incluso más), usted podría considerar la posibilidad de un punto de vista estocástico subgradiente descenso método. Esto es relativamente fácil de implementar en un "big data" medio ambiente con hadoop.