Probabilidades en regresión logística

Question

Estoy aprendiendo sobre regresión logística en el curso de aprendizaje automático de Andrew Ng. En el curso se dice que la hipótesis es la probabilidad de la salida $y=1$ para una entrada dada $x$ . Es decir, $$h_\theta(x)=P(y=1|x;\theta).$$

Se supone que $h_\theta(x) = \frac{1}{1+e^{-\theta^T x}}$ es decir, la función sigmoidea.

Lo que me confunde es cómo lo sabemos. ¿Se trata de una definición?

Answer 1

Dado que las probabilidades están acotadas entre 0 y 1, necesitamos alguna función que pueda tomar la entrada no acotada $\theta^T x$ y mapearlo al intervalo unitario. Matemáticamente, necesitamos

$$f : \mathbb{R} \to [0,1]$$

La función sigmoidea lo consigue, pero no es la única. Si hubiéramos utilizado la FDA de la normal, estaríamos haciendo algo llamado regresión Probit (estrechamente relacionada con la regresión logística).

En resumen, hemos construido la regresión logística (es decir, la hemos definido) de forma que $P(y=1) = h_\theta (x)$ .

Answer 2

Hay muchas funciones "sigmoides", pero la que citas, la función logística, es la más común en aprendizaje automático y estadística. Se me ocurren dos razones para ello:

1. Se ajusta bien al formalismo de los modelos lineales generalizados, y
2. aparece naturalmente como la probabilidad de clase si las clases se distribuyen normalmente.

Es probable que la primera razón la aducen más a menudo los estadísticos y la segunda los aprendices de máquina.

1. Enfoque estadístico

Supongamos una variable aleatoria $Y$ que puede tomar dos valores discretos, por ejemplo $A$ y $B$ ---Pueden considerarse "etiquetas de clase". Definir una variable $y$ que es uno cuando $Y=B$ y cero en caso contrario (es decir $Y=A \Leftrightarrow y=0$ ). Supongamos también que la probabilidad de un punto con un valor real (posiblemente vectorial) $x$ pertenecer a la clase $B$ depende de alguna manera de ese valor, es decir $P(y) = p(x)$ con $p(x)$ en función de $x$ , $p : \mathbb{R} \rightarrow [0, 1]$ .

Con algunas acrobacias matemáticas, $P(y)$ puede reescribirse para ajustarse a la notación general de la familia exponencial de distribuciones de probabilidad:

$$P(y) = h(y) \exp(\eta(x) \cdot T(y) - A(\eta(x)))$$

En función de la elección de $h(y)$ , $\eta(x)$ , $T(y)$ y $A(\eta(x))$ puedes construir muchas distribuciones diferentes: Gaussiana, Poisson, Gamma, etc. Para nuestra distribución ("Bernoulli"), tenemos que establecer:

$$\begin{align} h(y) &= 1\\ \eta(x) &= \ln \frac{p(x)}{1-p(x)} \\ T(y) &= y \\ A(\eta) &= \ln \left( 1 + \exp(\eta(x)) \right) \end{align}$$

Por el momento, puede ignorar todo excepto la segunda línea, que define $\eta(x)$ . Esta relación se denomina log-odds. Ahora, si expresamos $p(x)$ en términos de $\eta(x)$ obtenemos:

$$p(x) = \frac{1}{1 + e^{-\eta(x)}}$$

Generalmente, $\eta(x)$ puede tener cualquier forma, pero es matemáticamente atractivo suponer que es una función lineal, o, en su notación, $\eta(x) = \theta^T x$ . De ahí el " modelo lineal generalizado ".

2. Enfoque de aprendizaje automático

Supongamos dos distribuciones de probabilidad ("clases"), $A$ y $B$ . Independientemente de sus distribuciones de probabilidad, de la fórmula bayesiana se deduce:

$$P(B | x) = \frac{P(x | B) P(B)}{P(x)} = \frac{P(x | B) P(B)}{P(x | A) P(A) + P(x | B) P(B)} = \frac{1}{1 + \frac{P(x | A)P(A)} {P(x | B)P(B)}}$$

Si $x$ es continua, de modo que las clases pueden describirse mediante sus respectivas funciones de densidad de probabilidad (FDP), $f_A(x)$ y $f_B(x)$ la fracción $P(x | A) / P(x | B)$ puede expresarse como:

$$\frac{P(x | A)} {P(x | B)} = \lim_{\Delta x \rightarrow 0} \frac{f_A(x) \Delta x}{f_B(x) \Delta x} = \frac{f_A(x)}{f_B(x)}$$

Supongamos ahora que las dos clases se distribuyen normalmente, con varianzas iguales:

$$f_A(x) = \frac{1}{\sqrt{2 \pi} \sigma} \exp \left( -\frac{(x - \mu_A)^2} {2 \sigma^2} \right), ~ ~ ~ ~ ~ ~ ~ ~ ~ f_B(x) = \frac{1}{\sqrt{2 \pi} \sigma} \exp \left( -\frac{(x - \mu_B)^2} {2 \sigma^2} \right)$$

Entonces la fracción $f_A(x) / f_B(x)$ se puede escribir como:

$$\frac{f_A(x)}{f_B(x)} = \exp \left( - \frac{(x - \mu_A)^2} {2 \sigma^2} + \frac{(x - \mu_B)^2} {2 \sigma^2} \right) = \exp \left( \frac{\mu_B^2 - \mu_A^2} {2 \sigma^2} + \frac{\mu_A - \mu_B} {\sigma^2} x \right)$$

y todo el término

$$\frac{f_A(x)P(A)}{f_B(x)P(B)} = \exp \left( \ln \frac{P(A)}{P(B)} + \frac{\mu_B^2 - \mu_A^2} {2 \sigma^2} + \frac{\mu_A - \mu_B} {\sigma^2} x \right)$$

Denota

$$\theta_0 = \frac{\mu_A^2 - \mu_B^2} {2 \sigma^2} - \ln \frac{P(A)}{P(B)} ~ ~ ~ ~ ~ ~ ~ ~ \text{and} ~ ~ ~ ~ ~ ~ ~ ~  \theta_1 = \frac{\mu_B - \mu_A} {\sigma^2}$$

conduce a la forma comúnmente utilizada en la regresión logística:

$$P(B | x) = \frac{1}{1 + e^ {-\left(\theta_0 + \theta_1 x \right)} }$$

o, en notación vectorial y suponiendo $x$ con el elemento cero fijado en 1:

$$P(B | x) = \frac{1}{1 + e^ {-\theta^T x} }$$

Sea cual sea el enfoque que se adopte, se están haciendo suposiciones sobre los datos. En el enfoque estadístico, se supone que las probabilidades logarítmicas dependen linealmente de $x$ . En el enfoque de aprendizaje automático, se suponen distribuciones normales de las clases (la hipótesis de las probabilidades logarítmicas se deriva de la hipótesis de normalidad, pero no al revés). En la práctica, los datos con distribución normal son bastante comunes, por lo que esta suposición es probable, pero no se garantiza que sea cierta. Si no es así, las probabilidades modelizadas se desviarán de las probabilidades reales.