¿Buena forma de eliminar los valores atípicos?

Question

Estoy trabajando en las estadísticas de las construcciones de software. Tengo datos de cada compilación sobre el tiempo transcurrido y el tiempo de aprobación, y generamos unos 200 por semana.

La tasa de éxito es fácil de agregar, puedo decir que el 45% aprobó una semana cualquiera. Pero también me gustaría agregar el tiempo transcurrido, y quiero asegurarme de no tergiversar demasiado los datos. He pensado que es mejor preguntar a los profesionales :-)

Digamos que tengo 10 duraciones. Representan casos de aprobación y de fracaso. Algunas construcciones fallan inmediatamente, lo que hace que la duración sea inusualmente corta. Algunas se cuelgan durante las pruebas y finalmente se agotan, lo que provoca duraciones muy largas. Construimos diferentes productos, por lo que incluso las construcciones exitosas varían entre 90 segundos y 4 horas.

Puede que consiga un juego como este:

[50, 7812, 3014, 13400, 21011, 155, 60, 8993, 8378, 9100]

Mi primera aproximación fue obtener la mediana del tiempo ordenando el conjunto y eligiendo el valor medio, en este caso 7812 (no me molesté en hacer la media aritmética de los conjuntos pares).

Desgraciadamente, esto parece generar mucha variación, ya que sólo elijo un valor determinado. Así que si yo fuera a la tendencia de este valor sería rebotar alrededor de entre 5000-10000 segundos, dependiendo de lo que construir estaba en la mediana.

Así que para suavizar esto, intenté otro enfoque: eliminar los valores atípicos y luego calcular una media sobre los valores restantes. Decidí dividirlo en terciles y trabajar sólo en el del medio:

[50, 60, 155, 3014, 7812, 8378, 8993, 9100, 13400, 21011] ->
[50, 60, 155], [3014, 7812, 8378, 8993], [9100, 13400, 21011] ->
[3014, 7812, 8378, 8993]

La razón por la que esto me parece mejor es doble:

• No queremos ninguna acción sobre las construcciones más rápidas, ya están bien
• Las acumulaciones más largas son probablemente inducidas por el tiempo de espera, y siempre estarán ahí. Tenemos otros mecanismos para detectar esos

Así que me parece que estos son los datos que busco, pero me preocupa haber conseguido la suavidad eliminando, bueno, la verdad.

¿Es esto controvertido? ¿Es un método sano?

Gracias.

Answer 1

La fibra óptica, como fuente de luz, y no como plataforma de transmisión de datos, es una aplicación del tipo "zapatero". Los árboles de fibra óptica utilizan como método de acoplamiento óptico el encogimiento por calor o la cinta eléctrica o el plástico moldeado de forma ajustada.

Por otro lado, el cable de fibra óptica para la transmisión de datos cuenta con conectores estandarizados muy bien diseñados, como TOSLINK para las conexiones de audio de los consumidores o el conector SFP (small form-factor pluggable) utilizado en algunas conexiones de fibra óptica de los routers Cisco.

Utilizar un led de 5mm o 3mm con tubo termorretráctil a juego y fibra suficiente para que quepa es muy muy común en aplicaciones de modelismo para aficionados ( que una maqueta bien hecha requiere mucho para tener un buen aspecto (Model Enterprise Project) ). Si sólo necesitas una hebra fina, puedes hacer un agujero en un led y pegar la hebra con pegamento caliente (Model Train Project) .

Las fibras ópticas también se utilizan para los mapas de estrellas o los techos de estrellas (los extremos se desmontan con un mechero u otra fuente de calor y luego se pegan en caliente).

Las aplicaciones comerciales utilizan Tubos de luz hecho de plástico moldeado o extruido, para canalizar un led montado en pcb (casi siempre smd) a una apertura externa de la caja. No se me ocurre un solo producto comercial/de consumo/industrial que utilice hilos de fibra óptica como método de redirección de la luz interna, debido a lo poco manejable que sería en la fabricación, por no hablar de los problemas de soporte técnico ya que las conexiones son frágiles debido a la delgadez.

Answer 2

Su planteamiento me parece lógico, teniendo en cuenta su objetivo. Es simple, es sencillo, hace el trabajo, y es probable que no quieras escribir un artículo científico sobre ello.

Una cosa que uno debe siempre hacer al tratar con los valores atípicos es comprender y usted ya hace un gran trabajo al respecto. Así que las posibles formas de mejorar su enfoque serían: ¿puede utilizar información sobre qué construcciones están colgadas? Mencionas que tienes "otros mecanismos para detectarlas", ¿puedes detectarlas y luego eliminar sólo esas de la muestra?

Por otra parte, si tiene más datos, podría pensar en eliminar no los tertiles, sino los quintiles... pero en algún momento, es probable que esto no suponga una gran diferencia.

Answer 3

Otro método es calcular la mediana de todos los promedios por pares o hacer un bootstrapping.

Actualización:

La mediana de todos los promedios por pares se denomina Estimador de Hodges-Lehmann . Este estimador suele tener una alta eficiencia. Este entrada de la enciclopedia por Scott L. Hershberger dice:

Aunque tanto la mediana como el estimador de Hodges-Lehmann son preferibles a la media de la muestra para distribuciones no simétricas, el estimador de Hodges-Lehmann tiene una mayor eficiencia relativa asintótica con respecto a la media que la mediana

El Bootstrapping puede ser menos relevante y más intensivo en términos computacionales, pero se podría tomar una pequeña muestra aleatoria de los datos con reemplazo y calcular la media de esa submuestra, hacerlo muchas veces y calcular la mediana de todas las medias.

En ambos casos ya no tiene que elegir un valor entre los valores de sus datos (cuando calcula la mediana ordinaria), sino que elige entre muchas medias de subconjuntos de los datos.

Answer 4

Parece razonable lo que estás haciendo: sólo para información yo uso el siguiente proceso bastante a menudo para un propósito similar: pero sólo estoy realmente interesado en los Outliers superiores.

Calcular el resumen de cinco números: Mín, Q1, Mediana, Q3, Máx. Calcular el Rango Intercuartil : Q3-Q1. Establezca sus "vallas" de valores atípicos en Q1-IQR*X, y Q3+IQR*X: donde un valor razonable de "X" es 1,5.

Utilizando Excel y sus cifras, lo anterior (utilizando 1,5 para 'X' **) arroja un valor atípico superior :21011

MIN 50
Q1  3014
MEDIAN  8095
Q3  9073.25
MAX 21011
IQR 6059.25
UPPER FENCE 18162.125
LOWER FENCE -6074.875

Así que la valla más baja aquí no es útil o realista para su ejemplo de hecho: lo que respalda el punto hecho por el otro post sobre la importancia de entender el significado de sus datos específicos.

(**Encontré una cita para la regla de "1,5": no digo que sea autorizada, pero me parece un punto de partida razonable: http://statistics.about.com/od/Descriptive-Statistics/a/What-Is-The-Interquartile-Range-Rule.htm )

También podría decidir (tal vez) sólo utilizar los puntos de datos que caen dentro del propio IQR: esto parece dar resultados sensatos (en el sentido de que la pertenencia a su método es muy similar).

utilizando los mismos datos, esto situaría los siguientes puntos de datos en la "zona de interés":

7812
3014
13400
21011
8993
8378
9100

En un Boxplot : estos puntos estarían todos dentro de la parte de la caja (en lugar de la parte de los bigotes) del diagrama.

Se puede ver que esta lista incluye algunos elementos que no están en tu lista original (las construcciones más largas); no puedo decir si una lista es más precisa de alguna manera. (de nuevo, se trata de entender tu conjunto de datos).