Cómo comprobar extremadamente bajas tasas de error

Question

Me enfrento con un intento de demostrar a través de pruebas de muy baja tasa de error de un sensor (no más de 1 error en 1.000.000 de intentos). Tenemos un tiempo limitado para realizar el experimento por lo que esperamos no ser capaces de obtener más de 4.000 intentos. No veo ningún problema que muestra el sensor no cumple con el requisito, ni siquiera un error en 4.000 los intentos de producir un 95% intervalo de confianza para la tasa de error con un límite inferior mayor que 0.000001. Mostrando que no cumple con el requisito, sin embargo es el problema, ya que incluso 0 errores en 4.000 intentos aún los resultados en un límite inferior mayor que 0.000001. Cualquier sugerencia sería muy apreciada.

Answer 1

Este es un problema común, especialmente con los modernos componentes o sistemas que pueden tener tasas de fracaso tan bajo como $10^{-9}$. A la dirección de la misma, usted necesita para hacer suposiciones, crear modelos, y/o incorporar otras formas de datos.

Lee Cadwallader de INL escribe,

Cuando no hay experiencia de explotación de los datos que existen para un componente, tal como un componente en la fase de diseño, el analista tiene varias opciones:

• Descomposición-la deconstrucción de un componente en sus partes constituyentes y, a continuación, la asignación manual de las tasas de fracaso de las piezas. Si el analista confía en la exactitud de la parte de datos, esta técnica es tedioso pero útil; si los datos en partes no son precisas, otras técnicas debe ser utilizado.

• Analista de juicio-puede llamar para la estimación de basado en un sistema de exigencia de disponibilidad o simplemente de ingeniería el juicio de los genéricos de las tasas de fracaso para esa clase de componente.

• La opinión de los expertos-obtención cualitativo de las opiniones de la materia los expertos y la combinación de esas para desarrollar un orden de magnitud de la falla la tasa.

• Componente de técnicas específicas-por ejemplo, el método de Thomas para la tubería.

La descomposición se utiliza con frecuencia para los componentes electrónicos, como se evidencia por los manuales de los componentes de las tasas de fracaso.

Otras fuentes sugieren que los datos de la industria o de la experiencia puede ser utilizado para informar, o en lugar de, datos de las pruebas.

Otras técnicas descritas en Weibull.com incluyen

Con el fin de evaluar el desgaste de tiempo de un componente, las pruebas a largo plazo puede de ser necesario. En algunos casos, un 100% de ciclo de trabajo (ejecución de los neumáticos en una carretera use el simulador de 24 horas al día) puede proporcionar una vida útil de pruebas en meses. En otros casos, el uso real del producto puede ser las 24 horas del día y no hay manera de acelerar el ciclo de trabajo. Alto nivel físico subraya puede ser necesario aplicar para acortar el tiempo de prueba. Este es un nueva técnica de evaluación de la confiabilidad denominado QALT (Cuantitativa Accelerated Life Testing) que requiere la consideración de la física e ingeniería de los materiales que están siendo probados.

En una nota de advertencia, parece que existe un estrecho paralelismo entre este problema y el de la estimación de otros eventos poco comunes, tales como asteroides, las huelgas y los errores catastróficos en el sistema financiero, Taleb los "cisnes negros".. Las últimas tasas fueron notoriamente subestimado.

Answer 2

No hay ninguna manera de probar una tasa de error < 1/1,000,000 con sólo 4.000 ensayos. Usted necesita alguna manera de seleccionar para los errores (que se ejecuta más ensayos en paralelo y sólo viendo casos que resultan en un error) o aplicar algún tipo de estrés que podría aumentar la probabilidad de un error y, a continuación, extrapolando a partir de condiciones de tensión en condiciones normales.

Eso es lo que los genetistas iba a hacer, de todos modos....

Answer 3

Generalmente hablando, usted no puede. Me gustaría ser muy cautelosos a la hora de técnicas que pretenden ser capaz de demostrar una $1/10^6$ tasa de error dado sólo $4000$ pruebas. A menudo, los tipos de técnicas implican en algún lugar haciendo una suposición de independencia, que no hay manera de validar de forma fiable: es sólo un salto de fe. Estos tipos de razonamiento imperfecto han dado lugar a graves errores en el mundo de la seguridad de los sistemas críticos.

Puede haber algunos casos especiales donde usted puede demostrar el nivel deseado de fiabilidad de la utilización de un número limitado de pruebas, por ejemplo, teniendo en cuenta de algo acerca de la física de la situación. Pero son raros, y ese tipo de razonamiento es frágil.