¿Qué ocurre cuando dos valores de los parámetros tienen la misma probabilidad?

Question

Supongamos que desea un estimador para un parámetro theta. ¿Qué ocurre cuando dos valores diferentes de theta dan la misma verosimilitud? (Es decir, hay dos valores igualmente probables para theta que son más probables que el otro). ¿Cuál se elige?

¿Un procedimiento bayesiano arrojaría una distribución posterior para theta que tuviera dos picos?

¿Hay algún ejemplo de esta situación?

Answer 1

Si dos valores del parámetro de interés tienen la misma probabilidad, significa que esos valores de theta están igualmente bien respaldados por los datos, según el modelo estadístico. No significa que esos valores sean igualmente creíbles o que una decisión inferencial tenga que tratarlos de la misma manera.

Cualquier prior bayesiano que diera más peso a uno de los valores que al otro daría una posterior que haría que uno de los valores fuera más probable que el otro.

No has indicado la forma de la función de verosimilitud, ni la naturaleza de theta. Es posible que una función de verosimilitud sea bimodal, pero no todos los modelos estadísticos permiten más de un pico y los modelos sencillos que implican la distribución normal suelen producir una función de verosimilitud en forma de campana con una sola moda. Si theta es discreta, es posible que dos valores adyacentes tengan la misma probabilidad aunque la función tenga un solo pico.

Answer 2

La definición de no identificabilidad es cuando varios valores de $\theta$ arrojan el mismo valor de probabilidad. Una situación en la que esto ocurre es cuando existe colinealidad exacta, por ejemplo ${\rm cor}(X_1, X_2) = 1$ y

$$ Y = \beta_0 + \beta_1 X_1 + \beta_2 X_2 + \varepsilon, \ \ \ \ \ \ \ \ \ \varepsilon \sim N(0, \sigma^2) $$

Bajo ese modelo, $\beta_1$ y $\beta_2$ no se identifican unívocamente (aunque $\beta_1 + \beta_2$ es); esto significa, por ejemplo, $\hat \beta_1 = 1, \hat \beta_2 = 1$ no se distingue de $\hat \beta_1 = 2, \hat \beta_2 = 0$ (es decir, esos dos valores de los parámetros generarían valores de probabilidad idénticos).

(Nota: en ese caso, el programa de adaptación suele marcar la solución como no identificada y, por tanto, elimina automáticamente una de las variables).

El otro autor tiene razón al afirmar que el uso de una prioridad (o una penalización de verosimilitud en la estimación frecuentista regularizada) a menudo puede ayudar a resolver este tipo de problemas. Esa es una de las razones por las que se utiliza la regresión ridge para combatir la inestabilidad generada por la colinealidad.