Logit MLE en R y cálculo de la odds ratio

Question

Sabemos que la distribución Logit es $\frac{exp(\beta'x_i)}{1+exp(\beta'x_i)}$

En R, si queremos ejecutar una regresión logit, utilizamos:

glm.logit=glm(model,binomial(),Data.df)

Esto devuelve los coeficientes relevantes. ¿Cómo interpretamos algebraicamente estos coeficientes? Leí otra respuesta que decía que R devuelve las probabilidades logarítmicas, por lo que cada coeficiente tiene la interpretación de log $(\frac{p_i}{1-p_i})$ ? Dónde $p_i =\frac{exp(\beta'x_i)} {1+exp(\beta'x_i)}$ Entonces p, ¿la probabilidad es igual a la función distribucional? Si esto es correcto, entonces todo lo que necesito hacer para obtener la razón de probabilidades es tomar la exponencial de, es decir log $(\frac{p_i}{1-p_i})$ = $\beta'x_i$ $\implies$ $\frac{p_i}{1-p_i} = exp(\beta'x_i)$

en R:

exp(coefficients(glm.logit))

¿Cómo calcularíamos el modelo logit "a mano"? ¿Especificaríamos la función de distribución logit, F(z) y luego estableceríamos z= modelo lineal (OLS)?

Gracias

Answer 1

Una forma de averiguar lo que R ha calculado es hacer un pequeño experimento. Aquí simulo los datos según el modelo $$ \log\left(\frac{p_y}{1-p_y}\right) = b_0+ b_1x_1 + b_2x_2 $$

donde fijé b0=2, b1=-3, y b2=5. Dejo que x1 y x2 se distribuyan normalmente.

N <- 10000
b0 <-  2
b1 <- -3
b2 <-  5
x1 <- rnorm(N)
x2 <- rnorm(N)
logodds <- b0+b1*x1+b2*x2
py <- exp(logodds)/(1+exp(logodds))
y <- rbinom(N,1,py)
coef(glm(y~x1+x2,family=binomial))
# (Intercept)          x1          x2 
#    2.029105   -3.072279    5.047870 

Ese resultado muestra que los coeficientes devueltos por glm son efectivamente los coeficientes lineales que conectan las X con las probabilidades logarítmicas de Y.

En cuanto al cálculo manual, la función glm funciona de forma diferente a OLS. Maximiza una probabilidad que depende de la distribución de los términos de error. En el caso de la regresión logística, los términos de error son logísticamente (no binomial) distribuida y que es bastante diferente de la Normal, como asume OLS.