Puedo utilizar pruebas de permutación para evitar la comparación múltiple problema en el contexto de las proporciones?

Question

Estoy evaluando la eficacia de los 5 diferentes métodos para predecir un determinado resultado binario (les llaman "Éxito" y "Fracaso"). Los datos se parece a lo siguiente:

Method    Sample_Size    Success    Percent_Success
1         28             4          0.14  
2         19             4          0.21  
3         24             7          0.29  
4         21             13         0.61  
5         22             9          0.40 

Me gustaría realizar una prueba entre estos 5 métodos para evaluar la relativa superioridad de los métodos. En otras palabras, quiero pedir a los métodos en el orden de rendimiento como el método 1 > método 2 > ... método 5. Para evitar el problema de las comparaciones múltiples, planeo hacer una prueba de permutación a lo largo de las siguientes líneas:

Paso 1: reunir todos los datos, por lo que, en general, el tamaño de la muestra es de 114 con total 37 éxitos.

Paso 2: al Azar dividir los datos en 5 grupos con los correspondientes tamaños de muestra de 28, 19, 24, 21 y 22.

Paso 3: Incrementar un contador si los observamos el orden de Percent_Success desde el paso 2 es consistente con el orden de mis datos.

Paso 4: Repita los pasos 2 y 3 tantas veces (digamos 10000).

Deseado p-valor = Final Valor de Contador / 10000.

Preguntas:

1. Es el procedimiento anterior ok?

2. Hay algo en R que me permita realizar la prueba anterior?

3. Cualquier sugerencia de mejora o métodos alternativos podrían ser de utilidad.

Answer 1

El procedimiento propuesto no responde a tu pregunta. Sólo se estima la frecuencia, bajo la hipótesis nula, con lo que su observó el fin de que se producen. Pero en virtud de que los nulos, con una buena aproximación, todos los pedidos son igualmente probables, de donde su cálculo se producen un valor de cerca de 1/5! = sobre el 0,83%. Que no nos dice nada.

Uno de los más obvia observación: el orden, basada en los datos, es 4 > 5 > 3 > 2 > 1. Sus estimaciones de su relativa superiorities son 0.61 - 0.40 = 21%, 0.40 - 0.21 = 11%, etc.

Ahora, supongamos que su pregunta se refiere a la medida en que cualquiera de las ${5 \choose 2} = 10$ diferencias en las proporciones podría ser debido a la probabilidad de la hipótesis nula de no diferencia. Es cierto que se pueden evaluar estas diez preguntas con una prueba de permutación. Sin embargo, en cada iteración se necesita para realizar un seguimiento de diez indicadores de la diferencia relativa en la proporción, no un indicador global de la total de la orden.

Para su información, una simulación con 100.000 iteraciones da los resultados

\begin{array}{ccccc} & 5 & 4 & 3 & 2 \cr 1 & 0.02439 & 0.0003 & 0.13233 & 0.29961 \cr 2 & 0.09763 & 0.00374 & 0.29222 & \cr 3 & 0.20253 & 0.00884 & & \cr 4 & 0.08702 & & & \end{array}

Las diferencias en las proporciones entre el método 4 y métodos 1, 2, y 3 son poco probable que sea debido al azar (con estimaciones de la probabilidad de 0,03%, el 0,37%, 0,88%, respectivamente), pero las otras diferencias que podría ser. Hay algunas pruebas (p = 2.44%) de la diferencia entre los métodos 1 y 5. Así parece que usted puede tener la confianza de que las diferencias en las proporciones involucrados en las relaciones 4 > 3, 4 > 2, y 4 > 1 son todas positivas, y lo más probable es que así es la diferencia en 5 > 1.

Answer 2

Su sugirió Monte-Carlo permutación procedimiento de prueba de producir un valor de p para una prueba de la hipótesis nula de que la probabilidad de éxito es la misma para todos los métodos. Pero hay pocas razones para hacer un Monte Carlo prueba de permutación aquí cuando el correspondiente exacto de la prueba de permutación es perfectamente factible. Esa es la prueba exacta de Fisher (bueno, algunas personas de la reserva de nombre de las tablas 2 x 2, en cuyo caso es un condicional prueba exacta). He acaba de escribir sus datos en Stata y -tabi ..., exacto - dio p=.0067 (para la comparación, Pearson prueba de chi-cuadrado da p=.0059). Estoy seguro de que hay un equivalente de la función en R que R gurús pronto agregaremos.

Si usted realmente desea ver el ranking puede ser mejor utilizar un enfoque Bayesiano, como se puede dar una interpretación sencilla como la probabilidad de que cada método es realmente el mejor, el mejor segundo, tercero, ... . Que viene en el precio de requerir que usted priores en sus probabilidades, por supuesto. La estimación de máxima verosimilitud de las filas es simplemente la observó el pedido, pero es difícil cuantificar la incertidumbre en la clasificación en una frecuentista marco en una forma que puede ser fácilmente interpretado, como lo que yo sé.

Me doy cuenta de que no he mencionado varias comparaciones, pero yo no veo cómo que viene a este.