¿Cuando tengo que dejar de mirar para un modelo?

Question

Estoy buscando un modelo de entre stockprices de la energía y el clima. Tengo el precio de la MWatt comprado entre los países de Europa, y una gran cantidad de valores en el tiempo (Grib). Cada una de las horas en un período de 5 años (2011-2015).

Precio/día

Esto es por día durante un año. Tengo este por horas en 5 años.

Ejemplo de tiempo

3Dscatterplot, en grados kelvin, durante una hora. Tengo 1000 valores por los datos por hora y 200 de datos, como klevin, viento, geopential etc..

Estoy tratando de pronosticar el precio medio por hora de la Mwatt.

Mis datos en el tiempo son muy densos, más de 10000 valores/hora y con una alta correlación. Es un problema de corto,grandes volúmenes de datos.

He probado el Lazo, Ridge y RVS métodos con el precio medio de la MWatt como resultado y mi tiempo de datos como ingresos. Tomé el 70% como datos de entrenamiento y el 30% de la prueba. Si mis datos no son de pronóstico (somwhere dentro de mis datos de entrenamiento) tengo una buena predicción( R2 = 0.89). Pero quiero hacer pronósticos sobre mis datos.

Así que si los datos de prueba son cronológicamente después de mi entrenamiento de datos no predecir nada (R2=0.05). Creo que es normal porque es un momento de la serie. Y hay un montón de autocorrelación.

Yo creía que tenía al tiempo de uso de la serie como modelo ARIMA. He calculado el orden del método (la serie es estacionaria) y lo he comprobado. Pero no funciona . Me refiero a que el pronóstico tiene un r2 de 0.05.Mi predicción sobre los datos de prueba no es del todo de mi de datos de prueba. He probado el ARIMAX método con mi tiempo como regresor. Puesto que no añade ninguna información.

ACF/PCF, Prueba/datos del tren

Así que me he hecho una temporada de corte por día y por semana

Día

Semana en la tendencia de la primera

Y puedo tener esto si puedo predecit la tendencia de la tendencia de mi precio de las acciones :

El azul es mi predicción y el rojo de el valor real.

Voy a hacer una regresión con un rodillo de media de las temperaturas a medida que los ingresos y la tendencia de la tendencia de la stockprice como resultado. Pero por ahora, no he de encontrar alguna relación.

Pero si no hay interacción, cómo puedo saber que no hay nada? tal vez es sólo que no he de encontrar.

Answer 1

Usted podría estar interesado en una formales de la ciencia dominio llamado "mecánica computacional." En un artículo de James Crutchfield y David Feldman, que estaba a cabo el programa de mecánica computacional-tal y como yo lo entiendo-como el análisis de los límites entre (1) determinista de la incertidumbre y la información de costos de inferir determinista de las relaciones, (2) estocástico de la incertidumbre y la información de costos de inferir las distribuciones de probabilidad, y (3) la entropía de la incertidumbre y las consecuencias de ser pobres en información.

Para responder a su pregunta directamente (aunque también bastante amplia, ya que pidió a un amplio pregunta), ¿cómo sabemos cuando hemos aprendido ya sea "suficiente", o "todo lo posible" a partir de los datos es un dominio abierto de investigación. El ex necesariamente, depende de lo que uno necesita como investigador y actor en el mundo (por ejemplo, cuánto tiempo? cuánto poder de procesamiento? cuánta memoria, cuánto urgencia, etc.).

No estoy en este campo, o incluso de profundidad con este artículo en particular, pero son algunos de los geniales pensadores. :)

Crutchfield, J. P. y Feldman, D. P. (2003). Regularidades invisible, la aleatoriedad observado: los Niveles de entropía de convergencia. Caos, 13(1):25-54.