¿Prueba de varianza finita?

Question

¿Es posible comprobar la finitud (o existencia) de la varianza de una variable aleatoria dada una muestra? Como nulo, sería aceptable o bien {la varianza existe y es finita} o bien {la varianza no existe/es infinita}. Desde el punto de vista filosófico (y computacional), esto parece muy extraño porque no debería haber diferencia entre una población sin varianza finita y otra con una varianza muy grande (digamos > $10^{400}$ ), por lo que no tengo esperanzas de que este problema pueda resolverse.

Un enfoque que me habían sugerido era a través del Teorema del Límite Central: suponiendo que las muestras son i.i.d., y que la población tiene una media finita, se podría comprobar, de alguna manera, si la media de la muestra tiene el error estándar correcto con el aumento del tamaño de la muestra. Sin embargo, no estoy seguro de que este método funcione. (En particular, no veo cómo convertirlo en una prueba adecuada).

Answer 1

No se puede estar seguro sin conocer la distribución. Pero hay ciertas cosas que se pueden hacer, como observar lo que podría llamarse la "varianza parcial", es decir, si se tiene una muestra de tamaño $N$ se extrae la varianza estimada de la primera $n$ términos, con $n$ de 2 a $N$ .

Con una varianza poblacional finita, se espera que la varianza parcial se estabilice pronto cerca de la varianza poblacional.

Con una varianza poblacional infinita, se observan saltos en la varianza parcial seguidos de lentos descensos hasta que aparece el siguiente valor muy grande en la muestra.

Esta es una ilustración con variables aleatorias Normal y Cauchy (y una escala logarítmica)

Esto puede no ser útil si la forma de su distribución es tal que se necesita un tamaño de muestra mucho mayor que el que tiene para identificarla con suficiente confianza, es decir, cuando los valores muy grandes son bastante (pero no extremadamente) raros para una distribución con varianza finita, o son extremadamente raros para una distribución con varianza infinita. Para una distribución determinada habrá tamaños de muestra que tengan más probabilidades de revelar su naturaleza que de no hacerlo; a la inversa, para un tamaño de muestra determinado, hay distribuciones que tienen más probabilidades de ocultar su naturaleza para ese tamaño de muestra.

Answer 2

No, esto no es posible, porque una muestra finita de tamaño $n$ no puede distinguir de forma fiable entre, por ejemplo, una población normal y una población normal contaminada por un $1/N$ cantidad de una distribución Cauchy donde $N$ >> $n$ . (Por supuesto, la primera tiene una varianza finita y la segunda tiene una varianza infinita). Por lo tanto, cualquier prueba no paramétrica tendrá una potencia arbitrariamente baja frente a estas alternativas.

Answer 3

He aquí otra respuesta. Supongamos que se puede parametrizar el problema, algo así:

$$ H_{0}:\ X \sim t(\mathtt{df}=3)\mathrm{\ versus\ } H_{1}:\ X \sim t(\mathtt{df}=1). $$

Entonces podrías hacer un Neyman-Pearson prueba de razón de verosimilitud de $H_{0}$ frente a $H_{1}$ . Tenga en cuenta que $H_{1}$ es Cauchy (varianza infinita) y $H_{0}$ es el habitual Estudiante $t$ con 3 grados de libertad (varianza finita) que tiene PDF: $$ f(x|\nu) = \frac{\Gamma\left(\frac{\nu + 1}{2}\right)}{\sqrt{\nu\pi}\Gamma\left(\frac{\nu}{2}\right)}\left(1 + \frac{x^{2}}{\nu} \right)^{-\frac{\nu + 1}{2}}, $$

para $-\infty < x < \infty$ . Dados los datos de una muestra aleatoria simple $x_{1},x_{2},\ldots,x_{n}$ la prueba de la razón de verosimilitud rechaza $H_{0}$ cuando $$ \Lambda(\mathbf{x}) = \frac{\prod_{i=1}^{n}f(x_{i}|\nu = 1)}{\prod_{i=1}^{n}f(x_{i}|\nu = 3)} > k, $$ donde $k \geq 0$ se elige de forma que $$ P(\Lambda(\mathbf{X}) > k\,|\nu = 3) = \alpha. $$

Es un poco de álgebra para simplificar $$ \Lambda(\mathbf{x}) = \left(\frac{\sqrt{3}}{2}\right)^{n}\prod_{i = 1}^{n}\frac{\left(1 + x_{i}^{2}/3 \right)^{2}}{1 + x_{i}^{2}}. $$

Así que, de nuevo, obtenemos una muestra aleatoria simple, calculamos $\Lambda(\mathbf{x})$ y rechazar $H_{0}$ si $\Lambda(\mathbf{x})$ es demasiado grande. ¿Cómo de grande? Esa es la parte divertida. Va a ser difícil (¿imposible?) obtener una forma cerrada para el valor crítico, pero podemos aproximarnos tanto como queramos, seguro. He aquí una forma de hacerlo, con R. Supongamos $\alpha = 0.05$ Y para reírnos, digamos $n = 13$ .

Generamos un montón de muestras bajo $H_{0}$ , calcule $\Lambda$ para cada muestra, y luego encontrar el cuantil 95.

set.seed(1)
x <- matrix(rt(1000000*13, df = 3), ncol = 13)
y <- apply(x, 1, function(z) prod((1 + z^2/3)^2)/prod(1 + z^2))
quantile(y, probs = 0.95)

Esto resulta ser (después de algunos segundos) en mi máquina para ser $\approx 12.8842$ que después de multiplicar por $(\sqrt{3}/2)^{13}$ es $k \approx 1.9859$ . Seguramente hay otras formas mejores de aproximarse a esto, pero sólo estamos jugando.

En resumen, Cuando el problema es parametrizable se puede establecer una prueba de hipótesis igual que en otros problemas, y es bastante sencillo, excepto en este caso por un poco de baile de claqué cerca del final. Obsérvese que sabemos por nuestra teoría que la prueba anterior es una la prueba más poderosa de $H_{0}$ frente a $H_{1}$ (a nivel $\alpha$ ), así que no hay nada mejor que esto (medido por la potencia).

Renuncias: este es un ejemplo de juguete. No tengo ninguna situación en el mundo real en la que tenga curiosidad por saber si mis datos provienen de Cauchy en contraposición a la t de Student con 3 df. Y la pregunta original no decía nada acerca de los problemas parametrizados, parecía estar buscando más de un enfoque no paramétrico, que creo que fue abordado bien por los demás. El propósito de esta respuesta es para los futuros lectores que tropiecen con el título de la pregunta y busquen el clásico enfoque de libro de texto polvoriento.

P.D. podría ser divertido jugar un poco más con la prueba para probar $H_{1}:\nu \leq 1$ o algo más, pero no lo he hecho. Mi opinión es que se pondría muy feo muy rápido. También he pensado en probar diferentes tipos de distribuciones estables pero, de nuevo, era sólo una idea.

Answer 4

Para probar una hipótesis tan vaga, hay que hacer una media de todas las densidades con varianza finita y de todas las densidades con varianza infinita. Esto es probablemente imposible, básicamente hay que ser más específico. Una versión más específica de esto y tener dos hipótesis para una muestra $D\equiv Y_{1},Y_{2},\dots,Y_{N}$ :

1. $H_{0}:Y_{i}\sim Normal(\mu,\sigma)$
2. $H_{A}:Y_{i}\sim Cauchy(\nu,\tau)$

Una hipótesis tiene una varianza finita, otra tiene una varianza infinita. Sólo hay que calcular las probabilidades:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\frac{\int P(D,\mu,\sigma|H_{0},I)d\mu d\sigma}{\int P(D,\nu,\tau|H_{A},I)d\nu d\tau} $$

Donde $\frac{P(H_{0}|I)}{P(H_{A}|I)}$ es la probabilidad previa (normalmente 1)

$$P(D,\mu,\sigma|H_{0},I)=P(\mu,\sigma|H_{0},I)P(D|\mu,\sigma,H_{0},I)$$ Y $$P(D,\nu,\tau|H_{A},I)=P(\nu,\tau|H_{A},I)P(D|\nu,\tau,H_{A},I)$$

Ahora bien, normalmente no se podrían utilizar priores impropios aquí, pero como ambas densidades son del tipo "localización-escala", si se especifica el prior no informativo estándar con el mismo rango $L_{1}<\mu,\tau<U_{1}$ y $L_{2}<\sigma,\tau<U_{2}$ , entonces obtenemos para la integral del numerador:

$$\frac{\left(2\pi\right)^{-\frac{N}{2}}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma$$

Donde $s^2=N^{-1}\sum_{i=1}^{N}(Y_i-\overline{Y})^2$ y $\overline{Y}=N^{-1}\sum_{i=1}^{N}Y_i$ . Y para la integral del denominador:

$$\frac{\pi^{-N}}{(U_1-L_1)log\left(\frac{U_2}{L_2}\right)}\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau$$

Y ahora tomando el cociente encontramos que las partes importantes de las constantes normalizadoras se cancelan y obtenemos:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{\pi}{2}\right)^{\frac{N}{2}}\frac{\int_{L_2}^{U_2}\sigma^{-(N+1)}\int_{L_1}^{U_1} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{L_2}^{U_2}\tau^{-(N+1)}\int_{L_1}^{U_1} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

Y todas las integrales siguen siendo propias en el límite por lo que podemos obtener:

$$\frac{P(D|H_{0},I)}{P(D|H_{A},I)}=\left(\frac{2}{\pi}\right)^{-\frac{N}{2}}\frac{\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

La integral del denominador no se puede calcular analíticamente, pero el numerador sí, y obtenemos para el numerador: $$\int_{0}^{\infty}\sigma^{-(N+1)}\int_{-\infty}^{\infty} exp\left(-\frac{N\left[s^{2}-(\overline{Y}-\mu)^2\right]}{2\sigma^{2}}\right)d\mu d\sigma=\sqrt{2N\pi}\int_{0}^{\infty}\sigma^{-N} exp\left(-\frac{Ns^{2}}{2\sigma^{2}}\right)d\sigma$$

Ahora haz el cambio de variables $\lambda=\sigma^{-2}\implies d\sigma = -\frac{1}{2}\lambda^{-\frac{3}{2}}d\lambda$ y se obtiene una integral gamma:

$$-\sqrt{2N\pi}\int_{\infty}^{0}\lambda^{\frac{N-1}{2}-1} exp\left(-\lambda\frac{Ns^{2}}{2}\right)d\lambda=\sqrt{2N\pi}\left(\frac{2}{Ns^{2}}\right)^{\frac{N-1}{2}}\Gamma\left(\frac{N-1}{2}\right)$$

Y obtenemos como forma analítica final las probabilidades para el trabajo numérico:

$$\frac{P(H_{0}|D,I)}{P(H_{A}|D,I)}=\frac{P(H_{0}|I)}{P(H_{A}|I)}\times\frac{\pi^{\frac{N+1}{2}}N^{-\frac{N}{2}}s^{-(N-1)}\Gamma\left(\frac{N-1}{2}\right)}{\int_{0}^{\infty}\tau^{-(N+1)}\int_{-\infty}^{\infty} \prod_{i=1}^{N}\left(1+\left[\frac{Y_{i}-\nu}{\tau}\right]^{2}\right)^{-1}d\nu d\tau}$$

Así que esto puede considerarse como una prueba específica de la varianza finita frente a la infinita. También podríamos hacer una distribución T en este marco para obtener otra prueba (probar la hipótesis de que los grados de libertad son mayores que 2).

Answer 5

El contraejemplo no es relevante para la pregunta formulada. Usted quiere probar el null hipótesis de que una muestra de variables aleatorias i.i.d. se extrae de una distribución con varianza finita, a un nivel de significación determinado . Recomiendo un buen texto de referencia como "Statistical Inference" de Casella para entender el uso y el límite de las pruebas de hipótesis. En cuanto a la h.t. sobre la varianza finita, no tengo una referencia a mano, pero el siguiente documento aborda una versión similar, pero más fuerte, del problema, es decir, si las colas de la distribución siguen una ley de potencia.

DISTRIBUCIONES DE LEY DE POTENCIA EN DATOS EMPÍRICOS Revista SIAM 51 (2009): 661--703.