Llegar a la función logística a partir de una distribución binomial y de la máxima verosimilitud

Question

He estado tratando de entender el origen de la función Logística en la regresión Logística: $$\Pr(Y=1|x;\theta)=\frac{1}{1+e^{-\theta x}}$$ Me han hecho pensar que se podría llegar a esto a partir de la distribución binomial y de un argumento de máxima probabilidad, pero no lo veo. Parece que si uno considera la distribución binomial como un miembro de la Familia Exponencial de las distribuciones surge la función Logit como "parámetro natural", pero no estoy muy seguro del significado o las consecuencias de esto.

Para resumir:

• ¿Es la función logística "óptima" de alguna manera matemática, o es sólo una función conveniente? Si lo es, ¿se puede derivar de una formulación de máxima probabilidad?
• ¿Cómo se relaciona todo esto (si es que se relaciona) con la Familia Exponencial?

He buscado bastante, así como he intentado derivar esto yo mismo, pero hasta ahora no hay nada.

¿Alguna idea?

Answer 1

Escribir la función de masa de probabilidad de una variable aleatoria bernoulli $X$ con parámetro $\pi$ (simplifiquemos las cosas aquí) y luego introduciendo el función exponencial \begin{eqnarray*} p \left( x ; \pi \right) & = & \pi^x \left( 1 - \pi \right)^{1 - x}\\ & = & \exp \left( x \log \left( \pi \right) + \left( 1 - x \right) \log \left( 1 - \pi \right) \right)\\ & = & \exp \left( x \log \left( \frac{\pi}{1 - \pi} \right) + \log \left( 1 - \pi \right) \right) \end{eqnarray*} De lo anterior se desprende que tiene la forma de una familia exponencial con estadística $x$ y el parámetro $\log \left( \frac{\pi}{1 - \pi} \right)$ (el restante $\log \left( 1 - \pi \right)$ es sólo una constante de integración).

Es natural escribir esto en forma canónica haciendo la transformación $\theta = \log \left( \frac{\pi}{1 - \pi} \right)$ para conseguir algo de la forma $p \left( x ; \theta \right) = \exp \left( x \theta - c \left( \theta \right) \right)$ . Esta nueva función es la función logit. Si desea desea expresar la función de relación inversa se obtiene la transformación $$ \pi = \frac{1}{1 + \exp \left( - \theta \right)} $$ En cuanto a tus dos preguntas, y por lo que entiendo los temas: El función logística surge de la distribución Bernoulli. Eso es lo más natural que que se puede conseguir. En ese marco, la forma lineal $x \theta$ tiene el natural descomposición suficiente del estadístico frente al parámetro. Es decir, tomando la distribución de $n$ copias de $X$ la media es a estadística suficiente para estimar $\theta$ y no es necesario ir más allá que para el estimador de máxima verosimilitud. Creo que este es el enlace que estabas buscando.