Prueba de proporciones y clasificador binario

Question

Tengo un prototipo de máquina de producción de piezas.

En una primera prueba, la máquina produce $N_1$ partes y un clasificador binario me dice que $d_1$ piezas son defectuosas ($d_1 < N_1$, generalmente de $d_1/N_1<0.01$$N_1\approx10^4$) y $N_1-d_1$ partes son buenas.

A continuación, un técnico hace algunos cambios en el equipo con el fin de disminuir el número de piezas defectuosas.

En una segunda y siguientes de la prueba de la modificación de la máquina produce $N_2$ partes y el mismo clasificador binario (virgen) me dice que $d_2$ piezas son defectuosas, de todos modos $d_2/N_2$ es bastante similar a $d_1/N_1$.

El técnico gustaría saber si sus cambios son efectivos.

Suponiendo que los clasificadores es perfecto (su sensibilidad es de 100% y su especificidad es del 100%), puedo realizar una prueba de proporciones (con R, me acabo de tipo prop.test(c(d1,d2),c(N1,N2))).

Pero la clasificación no es perfecta, así que ¿cómo puedo tomar en cuenta la sensibilidad y la especificidad, tanto desconocido, de la clasificador en el fin de responder apropiadamente al técnico?

Answer 1

Así que me voy a derivar esta a partir de primeros principios, y soy así, no existe la certeza de que es correcta. He aquí mis pensamientos:

EDIT: Esto no estaba bien antes. He actualizado.

1. Vamos a dejar que $\alpha$ denotar la diferencia esperada entre el número real de verdaderos positivos $d_1$ y el número de salida por el clasificador binario que llamaremos $\hat{d_1}$. Usted puede medir esto con el funcionamiento de su clasificador en un conjunto con conocidos etiquetas. Restar el número de efectivos positivos en el número de positivos producidos por el clasificador, y luego se divide por $N$ conseguir $\alpha$.

2. Así, una estimación puntual de la relación real de piezas defectuosas es dada por: $\hat{\frac{d_1}{N_1}} = \frac{d_1 + \alpha * N_1}{N_1}$. Es decir, el número observado de las piezas defectuosas, menos el número esperado de falsos positivos, además de la previsión del número de falsos negativos.

3. Del mismo modo, $\hat{\frac{d_2}{N_2}} = \frac{d_2 + \alpha * N_2}{N_2}$

4. Así que, ahora vamos a hacer una proposición de la prueba. En el estándar de la proposición de prueba, en primer lugar, calcular el conjunto cociente se utiliza como el valor null: $p= \frac{p_1*N_1 + p_2*N_2}{N_1 + N_2}$. Así que aquí, hemos puesto en nuestros cálculos de punto $\hat{\frac{d_1}{N_1}}$$\hat{\frac{d_2}{N_2}}$: $p= \frac{d_1 + d_2 + \alpha * (N_1 + N_2)}{N_1 + N_2}$

5. Y, a continuación, el error estándar es sólo el habitual: $\sqrt{p*(1-p)*(\frac{1}{N_1} + \frac{1}{N_2})}$

6. Y el estadístico de prueba es el mismo: $z = \frac{\frac{d_1}{N_1} - \frac{d_2}{N_2}}{se}$

Algunos pensamientos sobre la interpretación:

• El modelo puede producir imaginario valores de error estándar. Esto ocurrirá cuando la $p < 0$, que será el caso cuando el número de errores esperamos que el tema de los clasificadores para producir supera el número que hemos observado. Por ejemplo, supongamos que esperamos que nuestros clasificador de producir un promedio de 5 positivos, incluso cuando se administra a una muestra que no contiene positivos. Si observamos 4 positivos, entonces es como si no hay señal: Nuestro resultado es indistinguible del ruido producido por el clasificador. En este caso, no debemos rechazar la hipótesis nula, creo.

• Otra forma de pensar acerca de esto es que, si el número de piezas defectuosas se encuentra dentro del margen de error para el clasificador, a continuación, por supuesto, no podemos decir si hay una diferencia: ni siquiera podemos saber si alguna de las piezas defectuosas!

La incorporación de los errores en la estimación de $\alpha$:

• Pensé acerca de esto más, y creo que hay varias maneras que usted podría hacer esto, pero básicamente lo que desea para obtener una estimación de la distribución de $\alpha$. Lo ideal sería hacer esta compra repetir el procedimiento para obtener la estimación de $\alpha$ sobre una muestra representativa de los conjuntos de datos que usted tiene la intención de utilizar este método. Si esto no es posible, se puede bootstrap en un único conjunto de datos mediante el dibujo de las muestras, aunque esto no es lo ideal, a menos que su único datset es representante de todos los conjuntos que a usted le preocupan.

Supongamos que queremos calcular un intervalo de confianza con un intervalo de confianza de $h$.

• Empíricamente calcular el $\frac{h}{2}$ intervalo de confianza $\alpha$ el uso de la distribución bootstrap. Conectar cada punto final en el proceso anterior, se utiliza como una (muy conservadores o muy liberal) estimación para $\alpha$ y encontrar el $\frac{h}{2}$ intervalo de confianza para la estimación de la diferencia de proporciones utilizando la proposición de prueba. Supongamos que tenemos los intervalos de ($low_l, low_r)$$(high_l, high_r)$según los intervalos para los menores y mayores valores de $\alpha$. Entonces el intervalo de $(high_l,low_r)$ (que contiene los dos anteriores intervalos) debe ser una (1-h)*100 % IC para la diferencia de proporciones... creo...

Nota: En el de arriba me supone un 1 cara de prueba. Se divide h por 2 a cuenta por el hecho de que se están probando dos independientes hipótesis ($\alpha$ está en el intervalo de pensar y la prueba estadística de una diferencia significativa). Si quieres hacer una prueba de dos colas, dividir por 4 vez.