pregunta sobre comparación de importancia y valores de p

Question

Estoy bajo la impresión de que usted tiene que establecer el valor de alfa antes del experimento, y una vez que el experimento se realiza, su valor de p, con base en el valor de alfa, es significativo o no. Es dicotómica. No hay "casi significativo", o algo como eso.

Así que si puedo configurar mi alfa en 0,04, pero mi valor de p es de 0.05, a continuación, mis resultados son insignificantes.

Yo no entiendo por qué. Imagina un principiante investigador que realmente quiere obtener resultados significativos, la configuración de alfa en el 0,2 y obtiene 0.19 p por lo que su significativo. O imaginar que un investigador tan seguro de que un tratamiento funciona, que establece alfa en 0,001 pero su valor de p es de 0,002 por lo que su insignificante. Por qué tiene el significado de que el resultado tiene nada que ver con el investigador sabe acerca de los niveles de alfa?

¿Por qué no podemos tratar el valor de p como una variable continua, en lugar de escoger al azar algunos alpha nivel de significación antes de empezar?

Answer 1

Este tema es muy polémico. Me imagino que esta respuesta va a tener muchos votos negativos. Esto tiene implicaciones para la vida diaria y el trabajo de muchos. Pero usted tiene que hacer lo que tiene que hacer.

Eso es más o menos como yo entiendo la historia:

1. Hace 100 años Fisher desarrolló un método para la comprobación de datos.
2. Neyman y Pearson tomó lo que Fisher desarrolló y lo desarrolló.
3. Las dos propuestas son similares, pero contradictorias en algunos puntos.
4. Dado que las propuestas fueron publicados, no han sido las publicaciones que les preguntaron.
5. Hacia la década de 1940 o 1950 (una tarea para los historiadores), las dos teorías eran casi de forma anónima combinan en una sola teoría que ahora se llama NHST (hipótesis nula de pruebas estadísticas).
6. Nadie es el autor de la NHST. Es una regla de oro. Así que usted no puede discutir esta teoría con la de cualquier autor.
7. Desde su anonimato, NHSTs ha criticado. Hay cientos (o miles) de artículos que indican que no son el método más apropiado de la investigación científica.
8. El año pasado el ASA en su conferencia "un mundo más allá de p<0.05) parece haber empezado el abandono de NHSTs.

NHST problemas:

1. Lógico: se basa en el error lógico de las pruebas.
2. Real: se basa en el ideal de las distribuciones, que rara vez se encuentran en la realidad.
3. Ellos son anónimos creación: Con la que la autora se puede discutir?.
4. Dan una falsa sensación de seguridad. El problema de la inferencia es cientos o miles de años de antigüedad. Los filósofos todavía no puede averiguar. Vamos a hacer?

Investigador posiciones:

1. Abandonar NHSTs y el uso de la estadística Bayesiana. Problema: no es una solución total, ya que tendría el mismo problema que el de la NHST, en algunos casos, el razonamiento de la misma manera.
2. Uso NHSTs bien. Problema: 5 libros de explicar NHSTs en 5 diferentes maneras, debido a que no existe un método para la fabricación de NHSTs. NHSTs fueron inventados por nosotros, no hay evidencia sobre cómo evaluar la evidencia!
3. Crear nuevos métodos para la comprobación de datos. Ahí es donde algunos de los autores.

Answer 2

El propósito de establecer un umbral es eliminar post hoc fudging y proporcionar claridad en el proceso de toma de decisiones. Esto no es para decir que esta es la forma en que se utiliza realmente, pero es el ideal detrás de él.

El pensamiento detrás del proceso es que usted puede decidir cuánto riesgo está dispuesto a asumir en la falta de un efecto real de un tamaño que importa (como encender el estudio sobre la asunción de una magnitud del efecto esperado) versus el riesgo de creer los datos que no sería distinguible de ningún efecto si el experimento se repite un número de iva de los tiempos.

Esto está destinado a la fuerza para el diseño de todo el experimento, incluyendo el análisis y la toma de decisiones frente. Si usted no puede hacer esto, entonces usted está probablemente en la exploratorio de la fase de análisis y confiando en crudo reglas de pulgar, en cuyo caso los resultados que aparecen interesante debe ser validado en experimentos independientes.

Por qué tiene el significado de que el resultado tiene nada que ver con el investigador sabe acerca de los niveles de alfa?

El alfa no debería ser una conjetura, en lugar de una educación. Es acerca de la gestión del riesgo y debe coincidir con el adecuado accionar de los procedimientos durante el diseño para ser más útil.

¿Por qué no podemos tratar el valor de p como una variable continua, en lugar de escoger al azar algunos alpha nivel de significación antes de empezar?

Esto es razonable, siempre y cuando no hay reglas claras acerca de cómo se maneja. Por ejemplo, el análisis exploratorio de mayo de rango de valores de p y filtro de la parte superior de x por ciento para realizar más pruebas. He utilizado este enfoque para filtro de componentes principales para el análisis discriminante. Otra alternativa es tener la post hoc decisión atado al valor de p, por lo que un ejemplo podría ser si los resultados son extremadamente fuertes completo de I + D presupuesto podría ser de goma de sellado para continuar con el desarrollo, pero se disipó en un rango de valores de "p". En una de las principales multinacionales de R&D intensivo de la organización, esto podría ayudar a equilibrar el riesgo a través de una investigación de la cartera de

El ejemplo que das es inapropiado como quieres aparentar interpretación una vez que conozca sus datos. Este es uno de los aspectos de sesgo del investigador.

Lógica clara necesidad de que las reglas se decidió antes de ver los datos a fin de no sesgar la interpretación. Las reglas no tienen que ser el estándar de reglas de pulgar o el umbral, pero que necesitan de manera clara e inequívoca explicado y ser lógicamente consistente.

Answer 3

Interesante pregunta filosóficamente. Voy a dar y responder, pero yo que puede ser corregido matemáticamente.

La idea es que usted vaya en el experimento con una hipótesis nula, o como mi profesor de estadística solía decir, "el aburrido y poco interesante resultado." Por LO tanto, si usted está tratando de demostrar que el tabaco provoca la muerte a principios de, la hipótesis nula es "fumar no lleva a la muerte a principios", lo que significa que la edad promedio de un fumador es el mismo que el de un no fumador si se dibujan de forma aleatoria de entre el mundo real.

La estadística es demostrar que el "aburrido" resultado no se sostienen, ya que las probabilidades de que eso ocurra la vista de los datos que usted miró la hace altamente improbable que era sólo debido a la aleatoriedad que los promedios no son lo suficientemente cerca. Piénsalo de esta forma: si usted tiene exactamente un fumador y no fumador, usted realmente no tiene datos suficientes para hacer tal determinación (especialmente si el no-fumador fue asesinado por un autobús). Pero, si usted tiene 10 millones de cada uno, usted puede tener un montón de precisión (o confianza), estadísticamente hablando, si no obtiene los promedios que están cerca el uno del otro.

Creo que el alfa de la lógica trata de entrar en ella. La pregunta es, a priori, cuál es el nivel de confianza de hacerlo que espera (o sería aceptable) para hacer creer que la hipótesis nula fue mal? Para una cosa, que le impide diseñar el experimento de tal manera que lo que usted realmente cree en su corazón (y es consistente con el experimento de configurar) es que "el 95% sería realmente convincente" no conduce a su análisis de los datos, obteniendo el 92%, y luego decir: "el 90% que la hace verdadera".

El nivel de significación de los cambios por el campo. En algunas áreas de la física de partículas, por ejemplo, donde registran miles de millones de 'eventos' en busca de algo difícil de alcanzar, el estándar es de 5 - o 6-sigma. De lo contrario, usted va a encontrar falsos positivos todo el tiempo, dado el número de eventos. Eso es un ejemplo de cómo el experimento juega en ella.

Por otro lado, cuando hice el negocio de consultoría, que a menudo se presentan las regresiones con el 75% de los p-valores. La lógica es que las empresas deben hacer un montón de decisiones, y un montón de decisiones que tienen un p-valor de 75% que hacer rápidamente (y puede ser revertido si se confirma el mal) es mucho más útil que probar un pequeño número de cosas en un 99% de confianza.

No estoy seguro de que esto es completamente ayudar o responder a lo que usted está pidiendo, pero en la práctica (especialmente en un campo como el de la economía) la gente de hacer lo tratan como continua. Ninguna de las variables que salen de regresión con un p-valor de 95% se siente muy fuerte; ninguna por encima del 90% parecen muy fuertes, pero no ignorar una variable en un 89%. En economía, un problema es que realmente no diseño de experimentos, y los datos pueden ser un poco "sucio".

Tal vez otra forma de ver esto es de lima este: supongamos que son las pruebas de diagnóstico de detección contra una enfermedad que seguramente está fatal, pero el tratamiento en sí mata a 10% de las personas que la padecen, si tienen o no la enfermedad, pero ahorra el 100% de las personas que tienen la enfermedad (imagine que el Ébola o el SIDA en los primeros años). Pero supongamos que sólo el 0,1% (uno de cada 1.000 pacientes) de la población está infectada. Si la prueba da un 5% de falsos positivos, y perfecto reales positivos, esto significa que de cada 1000 personas probado 1 se tiene la enfermedad, pero 51 pondrá a prueba positivo (el real y el 50 false). Eso significa que el fármaco va a matar, de cada 1000 personas probado, 5.1 personas - de los cuales sólo uno tenía la enfermedad. Por lo tanto, sería mejor no utilizar la prueba porque sin ella no sólo será una muerte. Claramente, en ese caso, se ven en la necesidad de un "más estrictos" alfa a priori para justificar demostrando que el uso de la prueba es una buena idea.

Eso es todo un poco descuidado técnicamente, pero creo que lo consigue en lo que están pidiendo.