Cómo estimación de los coeficientes del modelo logístico

Question

Considere el modelo de $logit(p)=a+bx$. Me gustaría obtener una fórmula analítica de $a$$b$, al igual que en la regresión lineal. En la regresión lineal, se puede obtener una fórmula de estimación de $a$$b$.

He intentado utilizar el MLE para estimar. Pero es demasiado complicado para mí.

Answer 1

Inicio de la definición $$\text{logit}(p)=\log(\frac p{1-p})$$ So, if you have data $(x_i,p_i)$, compute $$y_i=\log(\frac {p_i} {1-p_i})$$ and the regression is just $$y=a+bx$$ So, standard linear regression will give you estimates of parameters $a,b$.

Pero, si $p$ es el mesured valor, usted necesita ir a la regresión no lineal para el modelo $$p=\frac{e^{a+b x}}{1+e^{a+b x}}$$ because what is measured is $p_i$ and not $\log(\frac {p_i}{1-p_i})$.

Si usted tiene un programa de regresión no lineal, el problema sería sencillo, ya que el primer paso que di al menos razonable de las estimaciones de los parámetros de $a,b$.

Si usted no tiene esto, inicio de la definición. Se desea minimizar la $$SSQ=\sum _{i=1}^n \left(\frac{e^{a+b x_i}}{1+e^{a+b x_i}}-p_i\right)^2$$ Then $$\frac {d\, SSQ}{da}=\sum _{i=1}^n \frac{1}{1+\cosh (a+b x_i)}\left(\frac{e^{a+b x_i}}{1+e^{a+b x_i}}-p_i\right)$$ $$\frac {d\, SSQ}{db}=\sum _{i=1}^n \frac{x_i}{1+\cosh (a+b x_i)}\left(\frac{e^{a+b x_i}}{1+e^{a+b x_i}}-p_i\right)$$ and you could use Newton Raphson method to solve $$\frac {d\, SSQ}{da}=\frac {d\, SSQ}{db}=0$$ En tal caso, para hacer la vida más sencilla, yo sugeriría numéricos derivados.

Para dar un ejemplo, me generaron once puntos de datos de acuerdo a la $$p=\frac{1}{10} \left\lfloor \frac{10\, e^{0.234+0.456 x}}{1+e^{0.234+0.456 x}}\right\rfloor$$ in order to have some significant noise in the data (the $x_i$ are integers between $-5$ and $+5$).

El primer paso que conduce a $y=-0.0737209+0.443856 x$; a partir de estos valores como inicial de estimación de la regresión no lineal llevó a $$p=\frac{e^{-0.0343898+0.438486 x}}{1+e^{-0.0343898+0.438486 x}}$$ Como se puede ver, los parámetros cambiado significativamente pasando del primero al segundo paso.