Oportunidad frente Habilidad

Question

¿Cómo hace uno para analizar matemáticamente situaciones que involucran la oportunidad y la habilidad?

Vamos a tomar el tirón de la moneda como un simple ejemplo. Suponga que es posible hábilmente una moneda para obtener el aterrizaje desea. También se asume cero trampa.

PRIMER ESCENARIO

El mundo de la 5 con más talento de la moneda aletas se reúnen para competir. Los resultados:

Persona 1

• Coin Flips: 100

• Tasa De Éxito: 100%

Persona 2

• Coin Flips: 10,000

• Tasa De Éxito: 90%

Persona 3

• Coin Flips: 1,000,000

• Tasa De Éxito: 80%

Persona 4

• Coin Flips: 100,000,000

• Tasa De Éxito: 70%

Persona 5

• Coin Flips: 10,000,000,000

• Tasa De Éxito: 60%

Cada persona dice que él es la mejor moneda de aleta. ¿Cómo analizar los resultados?

SEGUNDO ESCENARIO

Un hombre dice que él es tan experta en moneda flipping, siempre puede tierras cabezas.

Él le da una moneda. Por supuesto, los jefes.

Él voltea de nuevo. Los jefes de nuevo.

Él voltea a 100 veces. Todos los jefes.

1000 veces. Todavía todos los jefes.

Después de 100,000,000,000,000 volteretas, cada uno de los jefes, se detiene y dice: "yo te lo dije."

Cuando nos vamos de pensamiento ", de la suerte!" a "Él es bueno!"?

Answer 1

Supongamos $p\in[0,1]$ es la probabilidad de que la moneda cae de cabeza. Deje $q\in[0,1]$ la probabilidad de que un candidato con éxito cae de cabeza. Entonces, la habilidad relación está dada por $\chi_q:=\frac{q-p}{1-p}$. El candidato lanza la moneda $N$ veces con éxito y cae de cabeza $M$ veces $N$. Utilizamos el siguiente estimador $\hat{q}:=\frac{M}{N}$$q$, suponiendo que el $q$ es distribuido uniformemente en $[0,1]$. (La última hipótesis es la más dudosa. Es mejor asumir que $q$ es distribuido uniformemente en $[p,1]$. Sin embargo, no quiero lidiar con complejos cálculos.)

Suponga que la medición de los rendimientos de $\hat{q}=\hat{r}$ algunos $\hat{r}\in[0,1]$. Por lo tanto, tenemos que calcular $$\text{E}\Big(\chi_q\,\Big|\,\hat{q}=\hat{r}\Big)=\int_{0}^1\,\left(\frac{r-p}{1-p}\right)\,f(r,\hat{r})\,\text{d}r\,,$$ donde $$f\left(r,\hat{r}\right):=\binom{N}{\hat{r}N}r^{\hat{r}N}(1-r)^{\left(1-\hat{r}\right)N}$$ para todos los $r\in[0,1]$$\hat{r}\in\left\{0,\frac{1}{N},\frac{2}{N},\ldots,\frac{N-1}{N},1\right\}$. Esto significa $$\text{E}\Big(\chi_q\,\Big|\,\hat{q}=\hat{r}\Big)=\frac{1}{1-p}\,\binom{N}{\hat{r}N}\,\left(\frac{\big(\hat{r}N+1\big)!\,\big((1-\hat{r})N\big)!}{(N+2)!}-p\,\left(\frac{\left(\hat{r}N\right)!\,\big((1-\hat{r})N\big)!}{(N+1)!}\right)\right)\,.$$ Es decir, $$\mu:=\text{E}\Big(\chi_q\,\Big|\,\hat{q}=\hat{r}\Big)=\frac{\left(\hat{r}-p\right)N+1-2p}{(N+1)(N+2)(1-p)}\,.$$ Para $p=\frac{1}{2}$, obtenemos $$\mu=\frac{\left(2\hat{r}-1\right)N}{(N+1)(N+2)}\,.$$

Ahora, $$\text{E}\Big(\chi_q^2\,\big|\,\hat{q}=\hat{r}\Big)=\,\int_0^1\,\left(\frac{r-p}{1-p}\right)^2\,f\left(r,\hat{r}\right)\,\text{d}r\,,$$ o $$\text{E}\Big(\chi_q^2\,\big|\,\hat{q}=\hat{r}\Big)=\frac{\left(\hat{r}-p\right)^2N^2+\left(3\hat{r}(1-2p)-2p+5p^2\right)+\left(2-6p+6p^2\right)}{(N+1)(N+2)(N+3)(1-p)^2}\,.$$ Ergo, $$ \begin{align}\sigma:=\sqrt{\text{Var}\Big(\chi_q^2\,\big|\,\hat{q} =\hat{r}\Big)}=\frac{\sqrt{\tau}}{(N+1)(N+2)\sqrt{N+3}(1-p)}\,,\end{align}$$ donde $$ \begin{align}\tau&:=(\hat{r}-p)^2N^4+\left(2\hat{r}^2+(3-10)p\hat{r}-2p+7p^2\right)N^3 \\&\phantom{abcdef}-\left(\hat{r}^2+(7-12p)\hat{r}+2-10p+16p^2\right)N^2+\left(5-12p+12p^2\right)N+1\,. \end{align}$$ Si $p=\frac{1}{2}$, tenemos $$\sigma=\frac{\sqrt{(2\hat{r}-1)^2N^4+\left(8\hat{r}^2-8\hat{r}+3\right)N^3-\left(\hat{r}^2-\hat{r}-1\right)N^2+8N+4}}{(N+1)(N+2)\sqrt{N+3}}\,.$$

Si la estimación de la habilidad de relación es $\hat{\chi}=\frac{\hat{r}-p}{1-p}$, entonces la habilidad puede ser definido por $$\hat{S}:=\frac{\hat{\chi}-\mu}{\sigma}\,.$$ Fix $p=\frac{1}{2}$.
(1) Al$N=10^2$$\hat{r}=1$,$\hat{S}\approx 10.2$.

(2) Cuando $N=10^4$$\hat{r}=\frac{9}{10}$,$\hat{S}\approx 100.02$.
(3) Cuando $N=10^6$$\hat{r}=\frac{8}{10}$,$\hat{S}\approx 1000$.
(4) Cuando $N=10^9$$\hat{r}=\frac{7}{10}$,$\hat{S}\approx 31623$.
(5) Cuando $N=10^{10}$$\hat{r}=\frac{6}{10}$,$\hat{S}\approx 100000$.
Parece como $\hat{S}$ $\sqrt{N}$ muy rápidamente cuando se $\hat{r}$ comienza a exceder $p$. Ver el gráfico de $\hat{S}$ frente al $\hat{r}$ $p=\frac{1}{2}$ $N=100$ por debajo.

Como se mencionó en el primer párrafo, debe ser mejor si $q$ se supone que para ser distribuidos de manera uniforme en $[p,1]$. Aquí están algunos cálculos con la modificación de la distribución de $q$ bajo $p=\frac{1}{2}$:
(1) $N=10^2$ $\hat{r}=1$ rendimiento $\hat{S}\approx 7.178$;
(2) $N=10^4$ $\hat{r}=\frac{9}{10}$ rendimiento $\hat{S}\approx 70.79$;
(3) $N=10^6$ $\hat{r}=\frac{8}{10}$ rendimiento $\hat{S}\approx 707.1$;
(4) $N=10^{9}$ $\hat{r}=\frac{7}{10}$ rendimiento $\hat{S}\approx 22361$;
(5) $N=10^{10}$ $\hat{r}=\frac{6}{10}$ rendimiento $\hat{S}\approx 70711$.
Tenga en cuenta que $\hat{S}$ $\sqrt{\frac{N}{2}}$ muy rápidamente. Ver las parcelas de $\hat{S}$ contra $\hat{r}$ $p=\frac{1}{2}$ $N=100$ (en la parte superior), así como a $N=1000$ (en el fondo) a continuación.

Answer 2

Otro enfoque razonable es aceptar las "estadísticas dogma", que es, a grandes rasgos, que "los eventos predefinidos de probabilidad de más de $\alpha$ puede ser debido a la oportunidad y el resto es debido a la causa". Es tradicional poner $\alpha=0.05$, pero este valor no es de ninguna manera sagrada. Por lo tanto, si la moneda volteando habilidad se mide por la probabilidad de $p$ de aterrizaje de cabezas, para convencerlo de que su cabeza aterrizaje habilidad es, al menos,$q$, la persona necesita para anunciar y, a continuación, lograr el resultado que tendría menos probabilidad de $\alpha$ para cualquier flipper con destreza $q$ e inferior. Desde este punto de vista, el resultado perfecto en $100$ tiros (si, anunció de antemano) te convence de que sólo de la habilidad de $\alpha^{1/100}$, que para $\alpha=0.05$ es de alrededor de $0.97$. El pre-anunciado resultado perfecto en $10$ tiros de la convence de que sólo de la habilidad $0.74$, etc.

Answer 3

La segunda pregunta debe ser en primer lugar :

SEGUNDO ESCENARIO : Cuando nos vamos de pensamiento ", de la suerte!" a "Él es bueno"?

Desde que lidiar con probabilidades, cualquier número de resultados podría explicarse por la suerte. La forma más general para resolver esto es calcular cuál sería la probabilidad de un resultado pasando por pura suerte. El enfoque estadístico es elegir una métrica (aquí la tasa de éxito es bastante fácil elegir) y, a continuación, para calcular la probabilidad de la hipótesis "el resultado es debido a la suerte". Esta probabilidad es el p-valor. Por debajo de un cierto umbral, se hará constar el resultado es debido a la formación.

En el caso de un coinflip, usted podría mirar a la probabilidad de que el chico que todas las tierras que estos jefes con un 1/2 de probabilidad de aterrizaje de cabezas.

El p-valor es ampliamente utilizado, con diferentes valores que dependen de cómo seguro de que quiere ser de no seleccionar los falsos positivos.

Porque ese es el truco : sea cual Sea el método de selección "realmente bueno" coinflippers es, usted siempre será mal algunas veces. Lo peor de todo es que si usted quiere saber su real probabilidad de estar equivocado, usted necesita para hacer de extra asumptions, porque para ello (por el uso de la inferencia bayesiana), usted necesita a la real probabilidad de que la hipótesis sea verdadera.

Usted puede aumentar tanto como usted desea que su capacidad de encontrar "realmente bueno" coinflippers de "la suerte de los fraudes", pero no se puede saber la probabilidad de que el chico es estar en el primer grupo (que es la pregunta que quiere responder), a menos que usted asuma que la actual repartición de las personas entre los dos grupos. p-valor sólo le da la probabilidad de que al estar equivocado, en el caso de que el concursante es un fraude. Si ya sabía cuántos cualificados coinflippers hubo y cómo sus habilidades se distribuye, no podría ser la celebración de esta gigante coinflipping concurso.

Esto arroja una luz sobre la dificultad para responder a su segunda pregunta, en el caso general.

PRIMER ESCENARIO : El concurso

Todo se reduce a la definición de lo que es "ser un buen coinflipper" ?

• Se muestra que en realidad se puede tirar una moneda con probabilidad a la tierra las cabezas diferentes de 1/2 ? En ese caso debe utilizar el p-valor de la hipótesis de "p(cara)=1/2". El último concursante iba a ganar en este marco, pero todos ellos tienen increíblemente bajos niveles de p-valores.

• Usted puede hacer una estimación de la habilidad, pero es necesario hacer asumptions en el real de la distribución de habilidades. Por ejemplo, si usted asume que es posible alcanzar un 60% de tasa de éxito por saber cómo lanzar la moneda, establece diferentes expectativas. Pero para ello, necesita más hipótesis, no voy a entrar en los detalles de todas las posibilidades

Creo que es una buena manera de organizar un concurso, sería para pedir a la gente para mostrar el más alto límite Inferior del intervalo de confianza para una de Bernoulli de parámetro, como se sugiere aquí.

En casi la llanura inglés, es definir algunos (muy bajo) nivel de confianza alfa, y para establecer la puntuación de cada persona que participó como "La más baja posible de la real probabilidad de éxito de la coinflipper que les han dado un buen registro con una probabilidad mayor que el alfa"

Me gusta esta solución, ya que cualquier concursante eventualmente convergen hacia el real de la tasa de éxito, pero muy rara vez (con una probabilidad pequeña de su elección), durante su proceso de convergencia. Por lo tanto, cualquier concursante lo suficientemente paciente puede aspirar a superar a cualquier rival en la final, sabiendo que este rival es muy poco probable que haya sido clasificado como de alta fuera de suerte.

Vamos a elegir alfa como 0.01%

Este método nos permite seleccionar un ganador para el concurso : Persona 2 victorias !! con una puntuación de 88.8%

Tenga en cuenta que con un p-valor de 1%, 1 Persona gana, y que mi pobre Excel desbordamientos antes de llegar a una probabilidad de que le hacen la persona 3 victorias, probablemente alrededor del caso de un joven de 27 de sigma en la variación de una distribución normal.

Mi solución no es perfecta, porque tan pequeño como puedo eligió mi alfa, siempre existe la posibilidad de que algún concursante consigue la suerte de conseguir un menor obligado estimación demasiado generoso, que le permite una ventaja que no pudo ser superado por otros concursantes que sólo puede aspirar a converger hacia su verdadera tasa de éxito. Dependiendo de la hipótesis de que esté listo para tomar, y lo que quiere lograr, tendrá que elegir uno o el otro

Answer 4

A partir de la segunda persona, que esté en el rango de la aproximación normal a la distribución de Bernoulli, por lo que la desviación estándar en el número de cabezas es$\sqrt {10000\cdot 0.1 \cdot 0.9}=30$, por lo que podemos decir que su probabilidad de cabezas es $0.90$ con una desviación estándar de $0.003$ Para los demás, la probabilidad de que los jefes se mide mejor aún, de modo que podemos decir que el orden de la habilidad es desde la parte superior a la parte inferior. Para el segundo, no hay una línea donde nos dicen que la transición es de la "podría ser la suerte" a "debe ser de habilidad". En cada paso se puede calcular la probabilidad de que los jefes son todos suerte. Es el juicio que decir que es razonable considerar que es suerte.

Answer 5

Sin la "habilidad" de una persona voltear cabezas de la mitad del tiempo y las colas de la mitad del tiempo. Si una persona tira una moneda 100 veces, la probabilidad de obtener "todos los jefes" o "todas las colas" o cualquier específicos pre-designado resultado para todos los 100 lanzamientos, lo que quiere decir con "el 100% de éxito, es $\left(\frac{1}{2}\right)^{100}= \frac{1}{1267650600228229401496703205376}$, sobre 0.000...0007888 donde hay 31 "0"s después del punto decimal. Eso es muy pequeña! Cómo pequeños que considerar la evidencia de la "habilidad".