¿Relación entre la varianza de Bernoulli y la regresión logística?

Question

En la lectura este artículo, me encontré con la función de verosimilitud para la regresión logística que se define como sigue (por razones de discusión, por favor, asuma el caso discreto):

$$L(X|P)=\prod_{i=1,y_i=1}^{N} P(\mathbf{x}_i)\prod_{i=1,y_i=0}^{N} (1-P(\mathbf{x}_i))$$

Estoy tratando de entender cómo se derivó esta ecuación (puede que esté en el artículo, pero puede que no lo haya entendido).

Buscando por ahí, descubrí que el lado derecho se parece mucho a la varianza de un ensayo de bernoulli $p(1-p) $ y puesto que se utiliza una regresión logística discreta para un caso de ensayo bernoulli múltiple, pensé que podría haber algo relacionado entre los dos.

En la regresión lineal, una de las métricas utilizadas para calcular un buen modelo es medir qué parte de la varianza del conjunto de datos es explicada por el modelo. He pensado que maximizar la probabilidad puede ser algo similar, para maximizar la varianza explicada de los ensayos de bernoulli.

¿Está mi intuición en el camino correcto, o tengo un malentendido muy fundamental?

Answer 1

El modelo de regresión logística supone que se tienen algunas entidades $i=1,2,...n$ en el que se observa un resultado binario $y_i \in \{0,1\}$ (como, por ejemplo, si una empresa entra en mora o no) y para la que también se miden algunas características, supongamos el caso simplificado con una sola característica $x_i$ (por ejemplo, la edad de la empresa).

Así que para cada uno de los $n$ empresas que conocen el resultado binario $y_i$ al igual que el valor de $x_i$ . Se supone que la probabilidad de que $y=1$ depende de $x$ Así que $P(y=1)=\pi(x)$ donde $\pi(x)=\frac{1}{1+e^{-\beta_0 - \beta_1 x}}$ .

Así, si el resultado de la i-ésima empresa es $y_i=1$ entonces esto sucede con una probabilidad $P(y_i=1)=\pi(x_i)$ si el resultado $y_j=0$ entonces esto sucede con una probabilidad $P(y_j=0)=1-\pi(x_j)$ .

Si todas sus observaciones son independientes, entonces la probabilidad de observar $y_1, ... y_n$ es, por tanto, el producto de sus probabilidades (se asume la indpendencia). Así, para todas las empresas en las que se observa un 1, la probabilidad de observar todas ellas como "1" es $\prod_{y_i=1} \pi(x_i)$ para todos los que tienen cero la probabilidad de todos estos ceros es $\prod_{y_i=0} (1-\pi(x_i))$ y las probabilidades de que se observen todos estos ceros y unos es $\prod_{y_i=1} \pi(x_i)\prod_{y_i=0} (1-\pi(x_i))$ .

Tenga en cuenta que puede escribir esto como $\prod_i \pi(x_i)^{y_i}(1-\pi(x_i))^{1-y_i}$