¿Dónde entra la probabilidad en la regresión logística?

Question

Dejemos que $x_0, x_1, x_2, \ldots, x_n$ sean nuestras características, y dejemos que $y$ sea la variable objetivo.

Con la regresión lineal, nuestra hipótesis es: $$h_{\theta}(x) = \sum_{i=0}^{n} \theta_{i} x_{i}$$ donde $x_0 = 1$ .

Ahora, con la regresión logística, la hipótesis es: $$h_{\theta}(x) = \frac{1}{1 + e^{-\theta^{T}x}}$$ Tengo algunas preguntas:

1. ¿Simplemente utilizamos la hipótesis de la regresión lineal, la introducimos en la función sigmoidea y esa es nuestra nueva hipótesis para la regresión logística? ¿Así que seguimos asumiendo que el resultado es una combinación lineal de las características (antes de sustituirla por la función sigmoidea)?

2. ¿Dónde entra la probabilidad? He visto que $$P(y = 1 | x; \theta) = h_{\theta}(x)$$ ¿De dónde viene esto? Por supuesto, es plausible ya que estamos en el rango $[0,1]$ pero no entiendo cómo esta función sigmoidea produce la probabilidad de que la variable objetivo pertenezca a la clase 1.

Answer 1

Me resulta útil pensar en la regresión logística como un caso especial de los modelos lineales generalizados (GLM). En los MLG, suponemos que la distribución condicional de la respuesta pertenece a la familia de distribuciones exponenciales. (Digo la distribución "condicional" aquí porque la respuesta sigue esta distribución sólo para algún valor fijo de las variables independientes y los parámetros). A continuación, suponemos que el valor esperado de la distribución condicional de la respuesta (o el valor esperado condicional) está dado como una función de una combinación lineal de las variables independientes, $h(x^T\theta)$ . La inversa de esta función, $h^{-1}$ se denomina función de enlace.

En la regresión logística, suponemos que la respuesta $Y$ se distribuye condicionalmente siguiendo una distribución Bernoulli (una distribución binomial con $n=1$ ), donde el parámetro $p$ (la "tasa de éxito") puede depender de $x$ y $\theta$ Por lo tanto $$Y|x;\theta \sim Bern(p(x,\theta)).$$ Ahora queremos elegir $p(x,\theta)$ de tal manera que el valor esperado condicional de $y$ es igual a $h(x^T\theta)$ , $$E(Y|x,\theta) = h(x^T\theta).$$ Convenientemente, en la distribución Bernoulli tenemos que el valor esperado es justo igual a $p$ que es igual a la probabilidad de que $Y = 1$ . Por lo tanto, $$E(Y|x,\theta) = P(Y=1|x;\theta)= h(x^T\theta).$$ Si definimos $h$ para ser la función logística estándar, $$h(x^T\theta)=\frac{1}{1+e^{-x^T\theta}},$$ su caso sigue.

Answer 2

No utilizamos simplemente la hipótesis de la regresión lineal. Y la introducimos en la función sigmoidea para convertirla en una nueva hipótesis por un par de razones.

Antes de empezar debemos saber que el Modelo de Regresión Logística se aplica a los Problemas de Clasificación. La clasificación puede ser de dos tipos: (1) Binaria- (1 o 0), (Verdadero o Falso), (Sí o No) etc. (2) Multiclase- (1, 2, 3 o 4) etc.

Respuesta:- Ahora sustituimos esta hipótesis en la función sigmoidea porque: El modelo de regresión logística quiere 0 <= hθ(x) <=1 Una función sigmoidea nos ayuda a convertir hθ(x) en valores entre 0 y 1

Aquí es donde entra en juego la probabilidad. La hipótesis hθ(x) = P(y=1|x;θ)

Aquí hθ(x) = probabilidad estimada de que y=1 en la entrada x. Es decir, la función sigmoidea nos proporciona directamente esta probabilidad, ya que tiene un rango de [0,1] al igual que la probabilidad tiene [0,1] en matemáticas.

La razón por la que no utilizamos la regresión lineal para la clasificación:

Por ejemplo, queremos predecir si un tumor es maligno o benigno utilizando una característica-x: Tamaño del tumor y queremos predecir y: Maligno (1) o Benigno (0). Podemos poner un umbral a la salida del clasificador de hθ(x) en 0,5 como sigue: Si hθ(x) >= 0,5, predice 'y=1' Si hθ(x) < 0,5 'predecir y=0'

Pero si aplicamos esta misma técnica con más datos de entrenamiento:

1. puede predecir mal.
2. puede predecir y>1 o y<0, pero necesitamos 0 o 1 como respuesta en y. Por lo tanto, aplicar la regresión lineal a un problema de clasificación no suele ser una buena idea.