Detección de cambio de paso

Question

Estoy usando una no lineal método de mínimos cuadrados para ajustar una función analítica a algunos datos experimentales. Tengo que proporcionar algunos de los primeros valores de prueba para el algoritmo, por lo que estoy tratando de averiguar cómo hacer esto de forma automática (en lugar de por el ojo, que es lo que he estado haciendo).

Esto es algunos de los datos simulados, creado mediante la adición de una distribución normal, el ruido aleatorio a la función analítica

Estoy tratando de detectar de forma fiable la posición de este cambio de paso en los datos. He tenido un cierto éxito mediante el cálculo de la media de la varianza de los puntos de datos y buscando puntos en los datos que difieren significativamente de este valor, pero este enfoque parece muy limitado por la relación señal a ruido.

Estoy esperando algunas instrucciones sobre lo que tengo que mirar a resolver mi problema, ya que no sé mucho de las estadísticas en todo.

Gracias!

-Edición de pasta papelera de enlace a datos xy

http://pastebin.com/QTawFex3

Answer 1

Puede haber algunos de los métodos más sofisticados para esto, pero aquí está mi primer pensamiento.

Básicamente se quiere tomar la derivada de la función y encontrar donde está el más grande. Numéricamente, usted puede tomar la diferencia entre los puntos de datos y encontrar que dos puntos tienen la mayor diferencia. Entonces el punto medio de los valores de x para estos dos puntos es su ubicación de cambio más grande.

Este sencillo método es susceptible al ruido. Lo primero puede filtrar los datos mediante un filtro que no cambian los datos a la derecha o a la izquierda. Si utiliza un simple filtro FIR, luego de filtro frente a la parte posterior y, a continuación, filtrar el resultado de atrás hacia delante. El resultado es doblemente filtrada y NO desplazada conjunto de datos. A continuación, siga el procedimiento de arriba para encontrar el punto con la mayor diferencia entre los valores.

También se puede utilizar más numéricos sofisticados cálculos diferenciales que usar más la diferencia de dos puntos.

Answer 2

Visualmente sus datos sugiere un asintótica (gradual) cambiar a un nuevo nivel. Series de tiempo métodos a menudo puede ser utilizado para detectar este tipo de estructuras, incluso si los datos no es de la serie de tiempo. Por favor enviar sus datos y que puede ser capaz de demostrar esto con los "juguetes" a mi disposición. Si los datos de series de tiempo, a continuación, como @jason refleja que uno necesita para lidiar efectivamente con el modelo de ruido correctamente "ver" la estructura.

EDITADO TRAS LA RECEPCIÓN DE LOS DATOS:

La modelización es a menudo un enfoque iterativo con pasos intermedios proporcionar valiosas pistas para un modelo útil. Me tomaron los datos y la introdujo a AUTOBOX (uno de mis juguetes que me han ayudado a desarrollar). Un primer gráfico sugiere fuertemente un longitudinales (cronológico) conjunto de datos donde la serie X se informó a intervalos fijos. AUTOBOX sugiere automáticamente un estándar modelo ARIMA (con la Intervención de la Detección), la sustitución de la no-estacionario X con un operador de diferenciación. Aquí está el actual ajuste de previsión gráfica y el modelo sugerido.

En el examen de otro posible modelo de la incorporación de un retraso de la estructura de una variable de indicador sugerido en sí. Me presentó un Pulso en el período de tiempo 76 (una Dinámica Predictor expresamente que permite hasta un retraso posible efecto de 50 períodos) (el comienzo de la transición) para lidiar con la relación entre el original y el usuario-sugirió X a fin de investigar el efecto de X que aceptar la total configuración-aparte de X.

El siguiente es el real-ajuste-previsión gráfica para que enfoque y la identificación de las robusto de la función de transferencia del modelo . con parcela residual y residual acf aquí

El modelo final que captura la dinámica en ciertos rezagos de la Dinámica Predictor y un par de pulsos y una razonable estructura de la memoria.

Incluso los más poderosos paquetes de análisis a menudo necesitan un poco de orientación cuando se trata de complejos del mundo real conjuntos de datos como este, ya nada se compara a la de los creativos de la mente humana.

Answer 3

Una técnica es la prueba de que todos los valores de la variable x para la desviación estándar de los datos antes y después de ella. Para un verdadero paso de la función, la suma de las dos va a ser mínimo en el paso de la ubicación, y el mínimo debería ser un buen punto de partida parámetro de la función no lineal.

Aquí es un gráfico de los datos originales (negro), la desviación estándar antes de x (azul), después de x (rojo) y la suma de los dos últimos (verde).

Answer 4

Usted puede investigar Wavelet tranformed de series de tiempo usando a corto plazo tipos de haar/db4. No tengo punteros, sino sólo algunos de los términos de búsqueda, tratar de 'wavelet cambiar de detección de punto'.

Hay varios paquetes de R en Wavelets, ver series de tiempo de la vista de tareas: https://cran.r-project.org/web/views/TimeSeries.html

Clic aquí para ver algunos ejemplos: http://it.mathworks.com/help/wavelet/examples/detecting-discontinuities-and-breakdown-points.html?requestedDomain=www.mathworks.com

Para la teoría de Mallat et Hwang papel: "la Singularidad de la detección y el procesamiento con wavelets"

Ver respuesta: la Aplicación de wavelets para series de tiempo basado en algoritmos de detección de anomalías