No linealidad

Question

Es allí una manera de detectar valores atípicos en los datos que se ajuste no lineal de la forma? Por ejemplo, tengo los datos de que se ajusta a un decaimiento exponencial con un evidente valor atípico. Tengo los datos simulados con un ejemplo de esto:

Quiero saber el índice de lugares de donde estos valores atípicos se producen en los datos reales y actualmente estoy haciendo esto mediante la aplicación de un decaimiento exponencial ajuste a los datos, a continuación, encontrar el residual de cada punto de la fit. Yo encuentre si cualquiera de los puntos de ir encima de un cierto umbral que me parece como un múltiplo de la desviación estándar de los residuales y encontrar cualquier punto con un diferencial sobre el umbral. Hay una mejor manera de encontrar los valores atípicos en un modelo como este?

Aquí están los puntos utilizados en la anterior matriz:

 [10., 8.46481725, 7.16531311, 6.0653066,
 5.13417119, 4.34598209, 3.67879441, 3.11403224,
 2.63597138, 2.2313016 , 1.88875603, 1.59879746,
 1.35335283, 1.14558844, 0.96971968, 0.82084999,
 0.69483451, 0.58816472, 25, 0.42143844]

Answer 1

Los residuos pueden ser útiles, pero hay un par de cosas a tener en cuenta.

Sus datos podrán ser heteroskedastic, es decir, la magnitud de los residuos varía con el valor de x. En este caso, lo que cuenta como una "gran" residual depende del valor de x. (Este es un problema incluso con relaciones lineales.)

Usted también tendrá que pensar en el potencial de errores en la medición del valor de x. Por ejemplo, si y=2x, mismeasuring x por 1 siempre causará un error de 2 en su predicción de y. Pero si y=2^x, mismeasuring x por 1 puede causar muy pequeños o muy grandes errores en la predicción de y, dependiendo de lo que x es. Estrictamente hablando, esto no es heterocedasticidad, pero los resultados son muy similares.

Un truco común es la transformación - ya sea de la totalidad de la función, o de los residuos. En el ejemplo que das, me gustaría considerar un registro de transformación, que va a convertir su relación exponencial a uno lineal; dependiendo del tipo de errores que encuentre, puede o no puede eliminar heterocedasticidad.

Usted también puede mirar al prójimo basado en formas de identificar los valores atípicos. Por ejemplo, dado cualquier punto de datos P, escoger el más cercano de los n vecinos a la izquierda y a la derecha, caracterizar el rango de valores de y en ese barrio, y luego comprobar si P es consistente con ese rango.

...y hay muchos otros métodos, todo el camino desde el "globo ocular en un gráfico de dispersión" hasta elaborar máquina-aprendizaje de métodos como las redes neuronales y SVMs. Es difícil dar una respuesta definitiva a la pregunta, ya que depende de muchos factores.