¿Por qué Ley de los Grandes Números?

Question

A menudo veo a los libros y los profesores de razonamiento que, con el fin de hacer un buen experimento, muchas de las medidas son necesarias porque entonces el valor promedio de una cantidad que está más cerca del valor esperado debido a la Ley de los Grandes Números.

Pero la ley actual (ya sea el débil o el fuerte de la versión) sólo da el límite de $n\to\infty$ donde $n$ es el número de mediciones. En realidad trabajamos con cantidades finitas, entonces, ¿qué podemos decir acerca de este caso?

También, he leído a través de este post, pero no responde a mi pregunta. Parafraseando a Littlewood, ¿qué puede decir sobre la velocidad de convergencia?

Answer 1

Esta es la razón exacta de por qué hacemos las estadísticas de hipótesis pruebas de confianza. En esencia, el intervalo de confianza obtenemos de esta prueba es una medida cuantitativa de "lo mucho que nos hemos convergente". Por ejemplo, considere un experimento para probar si una moneda es desequilibrada o no. Nuestra hipótesis nula es que no lo es: en símbolos, nuestra hipótesis es ${\rm Pr}(H) = \frac{1}{2}$: la probabilidad de que un jefe es un medio.

Ahora trabajamos fuera de la distribución binomial de los límites en el número de cabezas que se ven en un experimento con $N$ lanzamientos, dada la hipótesis nula y comprobar si el número observado cae dentro de ella. El intervalo en el que el número observado de los jefes cae con una probabilidad de, por ejemplo 0.999, luego se calcula: para las pequeñas $N$, tendrá que calcular la fuerza bruta con la distribución binomial. Como $N$ se hace más grande, utilizamos la aproximación de Stirling para el factorial, lo que muestra que la distribución binomial se convierte en la distribución normal. Su 0.999 intervalo de confianza, como una proporción de $N$, se hace más pequeño y más pequeño de lo $N\to\infty$, y estos cálculos son exactamente lo que se utiliza para ver qué tan rápido lo hace.

Me gusta llamar a la ley de los grandes números de la "ley del más puntiagudos y más puntiagudos distribuciones" debido a que este aspecto de la convergencia nos muestra por qué una forma débil de la segunda ley de la termodinámica es cierto, como les comente en el vinculado respuesta: la ley de los grandes números dice que en el gran número límite, hay muestras de que se ven casi como el de máxima verosimilitud de la muestra, y casi nada más. En otras palabras: hay microstates que se ven casi exactamente el mismo que el de máxima entropía, y casi nada más. Por lo tanto, casi seguro, un sistema que se encuentra cerca de su máxima entropía microestado, y, si por casualidad un sistema se encuentra en una de las pocas veces, de manera significativa-menos-de-la máxima entropía de los estados, es casi seguro que el progreso hacia la máxima entropía microestado, sólo a partir de un "paseo aleatorio".

Answer 2

Lo que podemos decir es que tienen una distribución de los resultados que vas a obtener (discreto o continuo de la variable aleatoria), y al calcular el promedio de una muestra de gran tamaño, que son la adición de las variables aleatorias y de la multiplicación por una constante. La adición de variables aleatorias se traduce en una convolución de las funciones de densidad de probabilidad, que cuando se $n \rightarrow \infty$ convergirán en una variable aleatoria normal (que es, de alguna manera, una forma de demostrar la LLN, aunque podríamos decir que es una exageración). Y para un poco más fuerte hipótesis de que en el teorema central del límite, usted tiene la Baya-Esseen teorema, que le da una velocidad de convergencia de $n^{-1/2}$ a la distribución Normal mediante el test de Kolmogorov-Smirnov distancia (sup norma).

En cualquier caso, si desea que el exacto "confianza" en un caso particular, su única opción es convolución $n$ los tiempos de la distribución particular que usted está utilizando, y obtener la confianza de los márgenes.

Answer 3

En general, podemos decir nada acerca de finito $n$, pero la mayoría del tiempo, podemos asumir con seguridad que algunos "nice" de la distribución en cuestión.

Si, por ejemplo, asumimos una Varianza finita $\sigma^2$ (bastante común), podemos utilizar la desigualdad de Chebyshev para un burdo error de estimación de la forma

$$P(|\bar{X_n} - µ| > \alpha) \leq \frac{\sigma^2}{\alpha^2n}. $$

Más fuerte (pero razonables) supuestos conducir a un aumento de las desigualdades, ver, por ejemplo, Cramér teorema (el segundo).