¿Es la probabilidad una función verdadera?

Question

Muchos libros y muchas publicaciones en este sitio definen la probabilidad como una función de los parámetros del modelo. Sin embargo, ¿el resultado asociado con cada posible parámetro del modelo tiene que ser único? Por ejemplo, parece que para algunas dos configuraciones del parámetro del modelo, los datos observados pueden ser igualmente probables.

Entonces, mi pregunta es si estamos jugando rápido y suelto con la palabra "función" cuando hablamos de la probabilidad o realmente la probabilidad por definición tiene que ser una función y cada entrada para el parámetro del modelo debe producir un $P(x|\theta)$ único?

Answer 1

Many books and many posts on this site define the likelihood as a function of model parameters.

Si especifica un valor para cada uno de los parámetros*, tendrá como máximo un valor para la probabilidad.

• (junto con todo lo demás que necesite haber especificado, por supuesto)

Sin embargo, ¿tiene que ser única la salida asociada con cada posible parámetro del modelo? Por ejemplo, parece que para algunas dos configuraciones del parámetro del modelo, los datos observados pueden ser igualmente probables.

Estás confundido -- toma alguna función $f$ -- está bien que $f(x_1)$ y $f(x_2)$ sean iguales. $f(x)=(x-3)^2$ es una función, aunque $f(2)=f(4)$.

Eso son dos argumentos diferentes que tienen el mismo valor de la función, no que la función tenga dos valores diferentes para un argumento dado.

Entonces, mi pregunta es si estamos jugando libremente con la palabra "función" al hablar sobre la probabilidad

No

o realmente la probabilidad por definición tiene que ser una función y cada entrada para el parámetro del modelo debe producir un P(x|θ) único?

Sí. Pero parece que te has confundido un poco acerca de lo que eso significa.

Answer 2

Una función de valor real $f$ asocia a un vector o entrada real $θ\in\Theta$ un número real $f(θ)$, es decir, \begin{align*}f:\ \Theta &\longrightarrow \mathbb{R}\\ \theta &\longrightarrow f(\theta)\end{align*> Una vez que se observan y fijan los datos $(x_1,\ldots,x_n)$, la verosimilitud asocia con un valor dado del parámetro $θ$ el número real $$\prod_{i=1}^n p(x_i|\theta)$$ donde $p(x|\theta)$ es la densidad de la variable aleatoria $X_i$. (Asumo independencia e identicamente distribuidos en esta respuesta para mantener las notaciones con una complejidad mínima). Por lo tanto, es una función bien definida en el sentido matemático.

Answer 3

Esto está estrechamente relacionado con el concepto de identificabilidad en estadística matemática, que creo se relaciona con tu pregunta. La identificabilidad trata sobre la posibilidad de que un modelo mal especificado pueda carecer de una relación uno a uno entre conjuntos de parámetros y distribuciones de probabilidad sobre los datos, lo cual causa problemas en relación con la inferencia.

Por ejemplo, tomemos el modelo ANOVA "sobreparametrizado",

$$ Y_{ij} = \mu + \alpha_i + \epsilon_{ij} , $$

donde $1 \leq i \leq k$, $1 \leq j \leq n$, $\epsilon_{ij} \sim$ normal$(0, \sigma^2)$, y no se imponen restricciones en$\{ \alpha_i \}_{i=1}^{k}$. Ahora supongamos que un oráculo nos dijera la distribución exacta de $Y_{ij}$ dentro de cada grupo, de modo que conozcamos tanto su media como su varianza para cada $i$. (De hecho, esto es lo máximo que podríamos esperar aprender de los datos). ¿Podríamos recuperar los parámetros del modelo? No podemos, porque hay un número infinito de formas en que podríamos especificar $\mu, \alpha_1, \ldots , \alpha_k$ de modo que $\text{E}(Y_{ij}) = \mu + \alpha_i$ para cada $i$. Esto se reflejaría también en la función de verosimilitud, donde diferentes conjuntos de parámetros darían exactamente la misma verosimilitud para todas las configuraciones posibles de los datos. El modelo no es identificable, y no podemos obtener estimaciones consistentes para ninguno de los parámetros de la media. Por esta razón, generalmente se impone la restricción de identificabilidad $\sum_{i=1}^{k} \alpha_i = 0$.

Así que si bien es importante que los parámetros del modelo especifiquen las distribuciones involucradas, también es importante que podamos ir en la dirección opuesta e inferir parámetros a partir de distribuciones, de lo contrario nunca podríamos descubrir el "verdadero" modelo.