¿Cuál es la diferencia entre una probabilidad parcial, una probabilidad de perfil y una probabilidad marginal?

Question

Veo que se utilizan estos términos y sigo confundiéndolos. Hay una explicación sencilla de las diferencias entre ellos?

Answer 1

La función de verosimilitud suele depender de muchos parámetros. Dependiendo de la aplicación, normalmente nos interesa sólo un subconjunto de estos parámetros. Por ejemplo, en la regresión lineal, el interés suele estar en los coeficientes de la pendiente y no en la varianza del error.

Denotemos los parámetros que nos interesan como $\beta$ y los parámetros que no son de interés primario como $\theta$ . La forma estándar de abordar el problema de la estimación es maximizar la función de verosimilitud de forma que obtengamos estimaciones de $\beta$ et $\theta$ . Sin embargo, dado que el interés principal radica en $\beta$ parcial, el perfil y la probabilidad marginal ofrecen formas alternativas de estimar $\beta$ sin estimar $\theta$ .

Para ver la diferencia, denote la probabilidad estándar por $L(\beta, \theta|\mathrm{data})$ .

Máxima verosimilitud

Encuentre $\beta$ et $\theta$ que maximiza $L(\beta, \theta|\mathrm{data})$ .

Probabilidad parcial

Si podemos escribir la función de probabilidad como

$$L(\beta, \theta|\mathrm{data}) = L_1(\beta|\mathrm{data}) L_2(\theta|\mathrm{data})$$

Entonces simplemente maximizamos $L_1(\beta|\mathrm{data})$ .

Perfil Probabilidad

Si podemos expresar $\theta$ en función de $\beta$ entonces sustituimos $\theta$ con la función correspondiente.

Di, $\theta = g(\beta)$ . Entonces, maximizamos:

$$L(\beta, g(\beta)|\mathrm{data})$$

Probabilidad marginal

Integramos $\theta$ a partir de la ecuación de verosimilitud explotando el hecho de que podemos identificar la distribución de probabilidad de $\theta$ con la condición de $\beta$ .

Answer 2

Los tres se utilizan cuando se trata de parámetros molestos en la función de verosimilitud completamente especificada.

La probabilidad marginal es el principal método para eliminar los parámetros molestos en la teoría. Es una función de verosimilitud real (es decir, es proporcional a la probabilidad (marginal) de los datos observados).

La probabilidad parcial no es una probabilidad real en general. Sin embargo, en algunos casos puede tratarse como una probabilidad para la inferencia asintótica. Por ejemplo, en los modelos de riesgos proporcionales de Cox, donde se originó, estamos interesados en las clasificaciones observadas en los datos (T1 > T2 > ..) sin especificar el riesgo de base. Efron demostró que la probabilidad parcial pierde poca o ninguna información para una variedad de funciones de riesgo.

La probabilidad de perfil es conveniente cuando tenemos una función de probabilidad multidimensional y un único parámetro de interés. Se especifica sustituyendo la molestia S por su MLE en cada T fijo (el parámetro de interés), es decir, L(T) = L(T, S(T)). Esto puede funcionar bien en la práctica, aunque hay un sesgo potencial en el MLE obtenido de esta manera; la probabilidad marginal corrige este sesgo.