¿Es válido para analizar los datos de detección de señal sin empleando métricas derivadas de la teoría de detección de señal?

Question

Un experimento de detección de la señal generalmente se presenta al observador (o sistema de diagnóstico) con una señal o no de la señal, y el observador se le pide que informe si piensan que el elemento es una señal o no de la señal. Este tipo de experimentos los datos de rendimiento que llene una matriz de 2x2:

Teoría de detección de señal representa los datos tales como la representación de un escenario donde la "señal/no-señal" la decisión se basa en un continuo de la señal-dad en la que la señal de ensayos generalmente tienen un valor más alto que el que no hace la señal de ensayos, y el observador simplemente elige un criterio de valor por encima del cual se informará de la "señal":

En el diagrama anterior, el verde y el rojo de las distribuciones representa la "señal" y "no señal" distribuciones, respectivamente, y la línea gris representa un observador dado el criterio elegido. A la derecha de la línea gris, el área bajo la curva verde representa los éxitos y el área bajo la curva roja representa las falsas alarmas; a la izquierda de la línea gris, el área bajo la curva de color verde represens pierde y el área bajo la curva roja representa rechazos correctos.

Como pueden imaginarse, según este modelo, la proporción de respuestas que caen dentro de cada celda de la tabla de 2x2 es determinada por:

1. La proporción relativa de los ensayos de muestreo de la roja y la verde distribuciones (tarifa base)
2. El criterio elegido por el observador
3. La separación entre las distribuciones
4. La varianza de cada distribución
5. Cualquier desviación de la igualdad de la varianza entre las distribuciones (la igualdad de la varianza se muestra arriba)
6. La forma de cada distribución (ambos son de Gauss arriba)

A menudo la influencia de la #5 y #6 sólo puede ser evaluado mediante la obtención de la calidad de observador a tomar decisiones a través de una serie de criterios diferentes niveles, así que vamos a ignorar que, por ahora. Además, #3 y #4 sólo tienen sentido el uno con relación al otro (por ejemplo. cómo de grande es la separación relativa a la variabilidad de las distribuciones?), resumido en una medida de "discriminabilidad" (también conocido como d'). Por lo tanto, la teoría de detección de señal prohíbe la estimación de dos propiedades de detección de la señal de datos: criterio y discriminabilidad.

Sin embargo, a menudo he notado que los informes de investigación (especialmente desde el campo de la medicina) no aplicar la detección de la señal de marco y en lugar de intentar analizar cantidades tales como "valor predictivo Positivo", "valor predictivo Negativo", "Sensibilidad", y "Especificidad", todos los cuales representan diferentes valores marginales de la tabla de 2x2 anterior (ver aquí para la elaboración).

Lo de la utilidad de hacer estos marginales de las propiedades? Mi inclinación es a ignorarlos por completo, debido a que confundir la teoría independiente de las influencias de criterio y la discriminabilidad, pero, posiblemente, simplemente me falta la imaginación para considerar sus beneficios.

Answer 1

Esto puede ser una simplificación excesiva, pero la especificidad y la sensibilidad son las medidas de rendimiento, y se utilizan cuando no hay conocimiento objetivo de la naturaleza de la señal. Me refiero a su densidad vs signalness parcela asume una variable que cuantifica signalness. De muy grandes dimensiones, o infinito-dimensional de datos, y sin un riguroso, se puede demostrar la teoría de que el mecanismo de la generación de la señal, la selección de la variable no es trivial. La pregunta que surge es, ¿por qué, después de seleccionar una variable de este tipo, son sus propiedades estadísticas, como la media y la varianza de la señal y no la señal no se ha cuantificado. En muchos casos, la variable no puede ser simplemente normal, Poisson, o exponencialmente distribuidos. Incluso puede ser no-paramétricos, en cuyo caso la cuantificación de la separación como diferencia de medias sobre la varianza etc., no hace mucho sentido. Además, una gran cantidad de literatura en el campo de la biomedicina se centra en las aplicaciones, y ROC, especificidad, sensibilidad, etc., puede ser utilizado como criterios objetivos para la comparación de los enfoques en términos de la naturaleza limitada del problema, y básicamente eso es todo lo que se requiere. A veces las personas pueden no estar interesados en describir, dicen que el real discretos versión log-gamma la distribución de la proporción de gene1 vs gene2 la abundancia de transcripción en enfermos vs los sujetos de control, más bien, la única cosa importante es si esta es elevada y qué parte de la varianza del fenotipo o la probabilidad de que la enfermedad se explica.

Answer 2

El Predictivo Positivo de Influencia (PPV) no es una buena medida, no sólo porque se confunde ambos mecanismos (discriminabilidad y el sesgo de respuesta), sino también porque de elemento de la base de las tasas. Es preferible utilizar las probabilidades posteriores, como P(señal|"sí"), que representan el elemento base-tarifas:

$P(signal|yes) = \frac{P(signal)P(Hit)}{P(signal)P(Hit)+P(noise)P(False Alarm)}$

pero... ¿qué es bueno?? además, es útil para el ajuste de los criterios de respuesta con el fin de maximizar/minimizar la probabilidad de un resultado específico. Así, es complementaria a la de la sensibilidad y el sesgo de respuesta medidas en el sentido de que ayuda a resumir los resultados de los cambios en el sesgo de respuesta.

Una palabra de consejo: si usted está pegando con 2x2 resultado de la matriz que, básicamente, sólo permite obtener una sensibilidad de la medida, como d', no te molestes con el trato especial y diferenciado y sólo tiene que utilizar Hits-Falsas Alarmas. Ambas medidas (d' y (H-F)) tienen una correlación de .96 (no importa lo que BS detección de los teóricos pudiera salir)

espero que esto ayude saludos

Answer 3

Usted está comparando "¿Cuál es la probabilidad de que una prueba positiva el resultado es correcto dado un conocido de la prevalencia y de la prueba de criterio?" por "¿Cuál es la sensibilidad y el sesgo de un desconocido del sistema para diferentes señales de este tipo?"

A mí me parece que los dos tanto el uso de algunos teoría similar pero que en realidad tienen propósitos muy diferentes. Con las pruebas médicas criterio es irrelevante. Se puede ajustar a un valor conocido en muchos de los casos. Entonces, para determinar el criterio de la prueba es inútil después. Teoría de detección de señal es mejor para sistemas donde el criterio es desconocido. Además, la prevalencia, o de la señal, tiende a ser un fijo (y a menudo muy pequeña) de valor. Con el trato especial y diferenciado que a menudo trabajan una media d' sobre diferentes señales en la modelización de una situación muy compleja como unos simples descriptores. Cuando tanto el criterio y la señal se fija cantidades conocidas puede SDT decirle algo interesante? Parece como un montón de matemática sofisticación a tratar, fundamentalmente un problema más sencillo.