Por qué la estimación de máxima verosimilitud utiliza el producto de pdfs en lugar de cdfs

Question

Estoy aprendiendo regresión logística y me he confundido al ver la ecuación del libro de texto. Yo sabía que para una distribución continua, para calcular la probabilidad, el pdf $f(x)$ no tiene sentido. En su lugar, la función de densidad acumulativa $F(x)$ se utilizará. Así, puesto que estamos maximizando la probabilidad, ¿no deberíamos utilizar el producto de cdf s en lugar de pdf s en el lado derecho de la ecuación MLE? Gracias.

ACTUALIZACIÓN, y más preguntas:

Esta pregunta plantea una cuestión interesante sobre por qué no solemos utilizar el hecho de que $Y=F(X)\sim U(0,1)$ y luego intentar minimizar la divergencia KL entre $Y$ y $U$ :

$$\text{KL}(Y, U) = \int_0^1 f_y(y) \ln f_y(y) \text{d}y$$

Normalmente tenemos fácil acceso a la forma de $f$ (el pdf original) pero $F$ podría ser menos manejable y $f_Y$ es básicamente algo que tendríamos que estimar utilizando FCD empíricas basadas en las muestras $F(X_i), i=...$ . La pregunta es, ¿son muy diferentes los resultados de las dos formulaciones (la MLE habitual y la versión KL anterior)?

Answer 1

¿Cómo puede utilizarse una FDA para clasificar dos posibles parametrizaciones de un modelo? Es una probabilidad acumulada, por lo que sólo puede decirnos la probabilidad de obtener tal resultado o un valor inferior dado un modelo probabilístico. Si tomamos $\theta$ para predecir los resultados más pequeños posibles, la FDA es casi 1 en cada observación y esto sería lo más "probable" en el sentido de que "sí, si la altura media fuera realmente -99 estoy muy seguro de que repitiendo mi muestra se obtendrían valores más pequeños que los que observé".

Podríamos equilibrar la probabilidad acumulada izquierda con la probabilidad acumulada derecha. Consideremos la inversa en nuestro cálculo: a estimador insesgado mediano satisface:

$$P(X < \theta) = P(X > \theta)$$

Aquí el mejor valor de $\theta$ es aquella para la que $X$ tiene la misma probabilidad de ser mayor o menor que su valor previsto (suponiendo que $\theta$ es aquí una media). Pero eso ciertamente no se corresponde con nuestra idea de poder clasificar parametrizaciones alternativas como más probable para una muestra concreta.

Tal vez, por otro lado querías estar seguro $X$ era muy probable en un pequeño intervalo del valor, es decir, maximizar esta probabilidad:

$$P(\theta - d < X < \theta + d)/d = \left(F(X+d) - F(X-d)\right)/d$$

Pero, ¿qué tamaño debe tener $d$ ¿ser? Pues si $d$ es arbitrariamente pequeño:

$$\lim_{d \rightarrow 0} \left(F(X+d) - F(X-d)\right)/d = f(X)$$

Y se obtiene la densidad. Es la función de probabilidad instantánea que mejor caracteriza la probabilidad de una observación específica bajo una parametrización.

Answer 2

Se dispone de un conjunto de datos empíricos y se desea hallar los parámetros de mejor ajuste de una distribución hipotética. Digamos que su empírica es gaussiana con media 50, sd 10.

Vamos a dejar que el algoritmo de hacer una conjetura ... media 0, sd 1. Sus puntos reales será muy lejos en la cola de esta conjetura, pero podemos resumir multiplicando todas las probabilidades de sus valores sobre la base de un supuesto de media 0, sd 1. En realidad, en lugar de multiplicar, vamos a sumar el logaritmo, ya que es más manejable. Además, ya que nuestro algoritmo le gusta minimizar, no maximizar, vamos a voltear el signo, por lo que termina con -logLiklihood.

Resulta que cuando haces una buena estimación de la media y la sd, -LogLiklihood será menor que una mala estimación. Enjuague y repita hasta que el cambio en -logLiklihood es lo suficientemente pequeño, y ahí está su ajuste.

La FCD no se presta de forma nativa a este tipo de función objetivo. Multiplicando el producto de la FDP (o sumando el logaritmo) se obtiene, literalmente, la probabilidad de los datos bajo la hipótesis de un determinado conjunto de parámetros.