¿Significado de exhaustividad de una estadística?

Question

En Wikipedia :

La estadística $s$ se dice que es completa para la distribución de $X$ si para cada función medible $g$ (que debe ser independiente del parámetro $$) the following implication holds: $$ \mathbb{E}_\theta[g(s(X))] = 0, \forall \text{ implica que }P_(g(s(X)) = 0) = 1, \forall . $$ The statistic $ s $ is said to be boundedly complete if the implication holds for all bounded functions $ g$.

He leído y estoy de acuerdo con Xi'an y phaneron que una estadística completa significa que "sólo puede haber un estimador insesgado basado en ella".

1. Pero no entiendo lo que dice Wikipedia al principio del mismo artículo:

   En esencia, (la completitud es una propiedad de un estadístico) es una condición que garantiza que los parámetros de la distribución de probabilidad que representa el modelo pueden estimarse todos a partir del estadístico: garantiza que las distribuciones correspondientes a distintos valores de los parámetros son distintos.

   • ¿En qué sentido (y por qué) la exhaustividad "garantiza que las distribuciones correspondientes a distintos valores de los parámetros son distintas"? ¿son "las distribuciones" las distribuciones de una estadística completa?

   • ¿En qué sentido (y por qué) la exhaustividad "garantiza que todos los parámetros de la distribución de probabilidad que representa el modelo pueden estimarse a partir del estadístico"?

2. [Opcional: ¿Qué significa "completitud acotada" en comparación con la completitud?]

Answer 1

Esta es una pregunta muy buena y con la que he luchado durante bastante tiempo. He aquí cómo he decidido planteármela:

Tomemos el contrapositivo de la definición tal y como aparece en Wikipedia (lo que no cambia en absoluto el significado lógico):

\begin{align} {\rm If}\quad &\neg\ \forall \theta\ P(g(T(x))=0)=1 \\ {\rm then}\quad &\neg\ \forall \theta\ E(g(T(x))) = 0 \end{align}

En otras palabras, si existe un valor de parámetro tal que $g(T(x))$ no es casi seguro $0$ entonces hay un valor de parámetro tal que el valor esperado de esa estadística no es $0$ .

Hmm. ¿Qué significa eso?

Preguntémonos qué ocurre cuando $T(x)$ NO está completo...

Una estadística $T(x)$ que NO esté completo tendrá al menos un valor de parámetro tal que $g(T(x))$ no es casi seguro $0$ para ese valor, y sin embargo su valor esperado es $0$ para todos los valores de los parámetros (incluido éste).

En otras palabras, hay valores de $\theta$ para lo cual $g(T(x))$ tiene una distribución no trivial a su alrededor (tiene alguna variación aleatoria), y sin embargo el valor esperado de $g(T(x))$ no obstante siempre $0$ --no se mueve, no importa cuánto $\theta$ es diferente.

En cambio, una estadística completa cambiará su valor esperado si $g(T(x))$ está distribuida de forma no trivial y centrada en $0$ para algunos $\theta$ .

Dicho de otro modo, si encontramos una función $g(\cdot)$ donde el valor esperado es cero para algunos $\theta$ (por ejemplo $\theta_0$ ) y tiene una distribución no trivial dado ese valor de $\theta$ entonces debe haber otro valor de $\theta$ por ahí (digamos, $\theta_1 \ne \theta_0$ ) que da lugar a una expectativa diferente para $g(T(x))$ .

Esto significa que podemos utilizar este estadístico para la comprobación de hipótesis y la estimación informativa en el contexto de una distribución supuesta para nuestros datos. Queremos poder centrarlo en torno a un valor hipotético de $\theta$ y conseguir que tenga una expectativa 0 para ese valor hipotético de $\theta$ pero no para todos los demás valores de $\theta$ . Pero si la estadística no es completa es posible que no podamos hacer esto: es posible que no podamos rechazar ningún valor hipotético de $\theta$ . Pero entonces no podemos construir intervalos de confianza ni hacer estimaciones estadísticas.

Answer 2

Geométricamente, la completitud significa algo así: si un vector $g(T)$ es ortogonal a la f.d.p. $f_\theta$ de $T$ para cada $\theta$ , $$\mathbb E_\theta g(T) = \langle g(T),f_\theta\rangle=0$$ entonces $g(T)=0$ es decir, las funciones $f_\theta$ para variar $\theta$ abarcan todo el espacio de funciones de $T$ . Así que en cierto modo sería más natural decir que

$\theta$ está completo para $T$

que lo que decimos,

$T$ está completo para $\theta$ .

Así no es tan extraño que una función constante sea "completa".

---

Quizá un ejemplo ayude.

Supongamos que $X$ y $Y$ son independientes e idénticamente distribuidos Bernoulli( $\theta$ ) que toman valores en $\{0,1\}$ y $Z=X-Y$ . Entonces $Z$ está incompleto para $\theta$ porque tomar $g=\text{identity}$ , $$\mathbb E_\theta(Z)=0$$ para todos $0<\theta<1$ Sin embargo $\mathbb P_\theta(Z=0)\ne 1$ .

Answer 3

He encontrado este muy útil:

Definición: A estadística $T$ se llama completa si $E_\theta[g(T)] = 0$ para todos $\theta$ y alguna función $g$ implica que $P_\theta(g(T) = 0) = 1$ para todos $\theta$ .

Piensa en esto como algo análogo a los vectores y si los vectores { $v_1, \ldots , v_n$ } forman un conjunto completo (=base) del espacio vectorial.

• Si abarcan todo el espacio, cualquier $v$ puede escribirse como una combinación lineal de estos vectores: $v = \sum_j a_j \cdot v_j$ .
• Además, si un vector $w$ es ortogonal a todos los $v_j$ 's, entonces $w = 0$ .

Para establecer la conexión con la definición de completitud, consideremos el caso de una distribución de probabilidad discreta. Empezaremos escribiendo la condición de completitud $$ 0 = E_\theta[g(t)] = \sum_t g(t) \cdot P_\theta(T = t) = \sum_j g(t_j) \cdot P_\theta(T = t_j) = \begin{bmatrix} g(t_1)\\ g(t_2)\\ \ldots \\ g(t_n)\\ \end{bmatrix} \cdot \begin{bmatrix} p_\theta(t_1)\\ p_\theta(t_2)\\ \ldots \\ p_\theta(t_n)\\ \end{bmatrix} $$ para todos $\theta$ . Aquí expresamos la suma como producto escalar de dos vectores $$(g(t_1), g(t_2),...)$$ y $$(p_\theta(t_1), p_\theta(t_2),...)$$ con $p_\theta(t_j) = P_\theta(T = t_j) \ne 0$ -- consideramos sólo probabilidades positivas, porque si $p(t_j) = 0$ esto no nos dice nada sobre la función $g(t_j)$ . Ahora vemos la analogía con la condición de ortogonalidad discutida anteriormente.

En principio podría ser que el $g(t_j)$ son distintos de cero, pero que suman cero. Sin embargo, como afirma Lhunt, esto sólo es posible si

• el vector de probabilidad $(p_\theta(t_1), p_\theta(t_2),...)$ no cambia en absoluto si $\theta$ es variada,
• o si cambia de "forma simple", por ejemplo, salta de un valor para todos los $j$ a otro valor para todos los $j$ 's,
• o si cambia de "forma correlacionada", lo que sería una pesadilla de manejar.

Por tanto, la cancelación cruzada de términos sólo es posible si la distribución de probabilidad proporciona un "conjunto aburrido de vectores base" o una pesadilla.

Por el contrario, si la distribución de probabilidad proporciona un "conjunto suficientemente rico de vectores base", la ecuación para el valor de la expectativa implica $g(t_j) = 0$ en casi todas partes . Por en casi todas partes queremos decir, que podría haber un conjunto de probabilidad cero, donde $g(t_j) \ne 0$ -- Por ejemplo, en el caso de una distribución de probabilidad continua, podría ser un conjunto de puntos individuales.

También vemos que la terminología es algo engañosa. Sería más exacto llamar a la familia de distribuciones $p_\theta(\cdot)$ completa (en lugar de la estadística $T$ ), como se indica en la pregunta original. En cualquier caso, la exhaustividad significa que la colección de distribuciones para todos los valores posibles de $\theta$ proporciona un conjunto de vectores suficientemente rico.