Número de veces para ejecutar un experimento de largo

Question

Tengo esta larga ejecución de la prueba. Cada vez que lo ejecuto me sale una nueva bondad, el valor, ya que el algoritmo de variables aleatorias. Así que tengo que informe la media y la ets de algunos n se ejecuta. Lo que debe n ser?

Tengo que ser capaz de defender a n basado en algunas ideas estadísticas. Algún tipo de referencia científica (un libro, una hoja de papel) sería maravilloso, demasiado.

Puedo dar más detalles, como usted dice, gracias por las respuestas:

En la visión por ordenador, un reto importante es reconocer objetos a partir de imágenes. Equipo diferente de los algoritmos desarrollados para este propósito. A ver que tan bueno es un nuevo algoritmo es, a veces uno construye una prueba y un sistema de formación de imágenes, por ejemplo, 1.000 imágenes para cada uno, entrenar el algoritmo con la formación de imágenes, y producir una tasa de éxito del uso de la prueba de conjunto. Si fuera de los 1000 objetos en las imágenes de prueba, 800 es reconocido por el algoritmo, la tasa de éxito se dice que el 80 por ciento.

Ahora, mi algoritmo de análisis, digamos, 1000 puntos al AZAR en la imagen, y el uso de ese análisis, se trata de reconocer los objetos en la imagen. Cada vez que se ejecute el algoritmo, tengo una diferente tasa de éxito, desde el 1000 puntos se producen al AZAR. Así que creo que es mejor para reportar algún tipo de estadísticas de resumen (por ejemplo, el principal y sexual, la desviación de la tasa de éxito.

También, a veces uno tiene que decir, "bueno, además de mi algoritmo, traté de estos, digamos, 10 algoritmos en el mismo conjunto de datos, y esta tabla muestra que la mía es la mejor en esto y de esta manera..." Algunos de estos algoritmos puede necesitar para ejecutar más de una vez, demasiado. Así que uno puede realmente tener un largo experimento.

Así que, como dije antes, al menos, ¿cuántas veces debo ejecutar el largo experimento?

Thx.

Answer 1

Si asumimos subyacente a la probabilidad de éxito $\theta$ para un determinado conjunto de entrenamiento y el número de puntos utilizados para el análisis de imágenes, que podemos esperar de una distribución binomial para el número de objeto de reconocimientos $k$ $n$ pistas:

$P(k|\theta,n)=\left(n\atop k\right)\theta^k (1-\theta)^{n-k}$

Lo que realmente estamos interesados en, es el valor y la incertidumbre de las $\theta$ por $n,k$. Obtenemos una distribución de probabilidad para $\theta$ aplicando el Teorema de Bayes:

$p(\theta|k,n) \propto p(k|\theta,n)*p(\theta|n)$

El primer término en el lado derecho es la probabilidad, para lo cual puede utilizar la fórmula de arriba. El segundo término es la distribución previa para $\theta$. Si queremos ser neutrales $\theta$ antes de cualquier experimento es el hecho de que podemos elegir el Jeffreys antes de

$p(\theta|n) \propto \theta^{-1/2}(1-\theta)^{-1/2}.$

Poniendo nuestra probabilidad y las distribuciones previas juntos y la normalización de la distribución resultante terminamos con

$p(\theta|k,n) = \frac{\Gamma(n+1)}{\Gamma(k+\frac{1}{2})\Gamma(n-k+\frac{1}{2})} \theta^{k-1/2}(1-\theta)^{n-k-1/2},$

que es la distribución Beta con parámetros de $k+\frac{1}{2}$$n-k+\frac{1}{2}$.

Si tenemos por ejemplo, ha $n=5$ pistas y $k\in\{1,3\}$ éxitos, la distribución de probabilidad de los diferentes subyacentes $\theta$ valores se parece a esto:

A partir de esta distribución de probabilidad podemos obtener toda la información que necesita acerca de la $\theta$ a fin de decidir que hacer más carreras o no, por ejemplo, podemos calcular intervalos de credibilidad para el verdadero valor de $\theta$. Mediante el cálculo de los valores esperados para $\theta$ $\theta^2$ podemos obtener fórmulas para la media de la $\theta$ y la varianza de la $\theta$:

$E\left[\theta\right]=\int_{\theta=0}^1 \theta \; p(\theta|k,n) = \frac{2k+1}{2n+2}$

$E\left[\theta^2\right]=\int_{\theta=0}^1 \theta^2 p(\theta|k,n) = \frac{(2k+1)(2k+3)}{4(n+1)(n+2)}$

$V\left[\theta\right]=E\left[\theta^2\right] - E\left[\theta\right]^2=\frac{4k(n-k)+2n+1}{4(n+1)^2(n+2)}=\frac{(k+\frac{1}{2})(n-k+\frac{1}{2})}{(n+1)^2(n+2)}$

Ahora podemos ejecutar experimentos y calcular la media y la varianza de la esperada $\theta$ y se detendrá cuando la varianza es menor que un valor predefinido que refleja nuestro deseado de certeza de $\theta$. Por ejemplo, digamos que queremos que la desviación estándar de nuestra $\theta$-distribución sea menor que $\sigma$, entonces debemos hacer se ejecuta hasta que la condición

$\frac{(k+\frac{1}{2})(n-k+\frac{1}{2})}{(n+1)^2(n+2)} < \sigma^2$

es satisfecho, con una estimación resultante de ${\tilde \theta}=\frac{2k+1}{2n+2}$.

Si, por ejemplo, $\sigma=0.05$ tenemos que hacer se ejecuta hasta que terminamos en la naranja de la región en este gráfico:

Podemos ver que tenemos un montón carreras más, para estar seguros acerca de la $\theta$ en el caso de $\theta \approx 0.5$ (alrededor de un centenar en este ejemplo), que si tenemos un $\theta$ cerca de cero o uno (donde tal vez el 30 de carreras puede ser suficiente).

Un buen libro de texto introductorio que contiene ejemplos como este es el Análisis de los Datos: Un Bayesiano Tutorial. También contiene un pequeño capítulo sobre el diseño del experimento.