Alta autocorrelación cuando se toma la L-ésimo orden de la diferencia de una secuencia de números aleatorios independientes

Question

Para explicar esta cuestión con más detalle, la primera vez que voy a elaborar mi planteamiento:

1. He simulado una secuencia de independiente de números aleatorios $X = \{x_1,...,x_N\}$.

2. Entonces me tome $L$ veces la diferencia; es decir, crear las variables:

   $dX_{1} = \{X(2)-X(1),...,X(N)-X(N-1)\}$

   $dX_{2} = \{dX_{1}(2)-dX_{1}(1),...,dX_{1}(N-1)-dX_{1}(N-1-1)\}$

   $...$

   $dX_{L} = \{dX_{L-1}(2)-dX_{L-1}(1),...,dX_{L-1}(N-L)-dX_{L-1}(N-L-1)\}$

Observo que el (absoluta) de autocorrelación de $dX_{L}$ aumenta a medida $L$ se hace más grande; el ca enfoques incluso 0.99 $L >100$. I. e. cuando se toma la L-ésimo orden de diferencia, vamos a crear una serie de altamente dependiente de los números (secuencia) de un principio independiente de la secuencia.

Aquí están algunos de los gráficos para ilustrar mis observaciones:

Mis preguntas:

• ¿Hay alguna teoría detrás de este enfoque, y sus implicaciones o aplicaciones para él?

• ¿Esto indica que este enfoque se aprovecha de las debilidades de un pseudo-randomn generador (de la computadora). I. e. genera una secuencia "aleatoria" no es verdaderamente aleatorio, y esto es ilustrado/probado en mi enfoque?

• Podemos aprovechar la alta autocorrelación de la L-ésimo orden de las diferencias, con el fin de predecir el siguiente número en la secuencia (es decir,$X(N+1)$). I. e. si podemos predecir el siguiente número de $dX_{L}$ (a través por ejemplo de regresión lineal), se puede deducir de nuevo la estimación de la secuencia de $X(i)$ través de la toma de $L$ veces la suma acumulativa. Es este un enfoque viable?

Objetivo Tenga en cuenta que estoy tratando de predecir $X(N+1)$, pero dado que los números son generados independentaly y al azar, esto es muy duro (baja ca $N$).

Answer 1

La teoría de la

Si la autocorrelación va a tener sentido, hay que suponer que el original de variables aleatorias $X_0, X_1, \ldots, X_N$ tienen la misma varianza, que-por una adecuada elección de las unidades de medida, podemos establecer a la unidad. A partir de la fórmula para el $L^\text{th}$ de diferencia finita

$$X^{(L)}_i=(\Delta^L(X))_i = \sum_{k=0}^L (-1)^{L-k}\binom{L}{k} X_{i+k}$$

para $0 \le i \le N-L$ y la independencia de la $X_i$ podemos fácilmente calcular

$$\operatorname{Var}(X^{(L)}_i) = \sum_{k=0}^L \binom{L}{k}^2 = \binom{2L}{L}\tag{1}$$

y para$0 \lt j \lt L$$i \le N-L-j$,

$$\operatorname{Cov}(X^{(L)}_i, X^{(L)}_{i+j}) = (-1)^{j}\sum_{k=0}^{L-j} \binom{L}{k}\binom{L}{k+j} = (-1)^{j}\frac{4^L \binom{L}{j} j!\Gamma(L+1/2)}{\sqrt{\pi}(L+j)!}.\tag{2}$$

Dividiendo $(2)$ $(1)$ da el lag-$j$ correlación serial $\rho_j$. Es negativo para los impares $j$ y positivo incluso para $j$.

La Fórmula de Stirling da fácilmente interpretables aproximación

$$\log(|\rho_j|) \approx -\left(\frac{j^2}{L} - \frac{j^2}{2 L^2} + \frac{j^2 \left(j^2+1\right)}{6L^3}-\frac{j^4}{4 L^4} + O(L^{-5})O(j^6)\right)$$

Como una función de la $j$ su magnitud es de aproximadamente Gaussiana ("forma de campana") de la curva, como cabría esperar de cualquier basados en la difusión de procedimiento como las sucesivas diferencias. Aquí está una parcela de $|\rho_1|$ a través de $|\rho_5|$ como una función de la $L$, mostrando cómo rápidamente la correlación serial de los enfoques $1$. En orden de arriba a abajo los puntos representan $|\rho_1|$ a través de $|\rho_5|$.

Conclusiones

Debido a que estas son puramente relaciones matemáticas, que revelan poco acerca de la $X_i$. En particular, debido a que todas las diferencias finitas, son combinaciones lineales de las variables originales, no proporcionan la información adicional que podría ser utilizado para predecir $X_{N+1}$$X_0, X_1, \ldots, X_N$.

Observaciones prácticas

Como $L$ crece, los coeficientes de las combinaciones lineales crecer de forma exponencial. Observe que cada una de las $X^{(L)}_i$ es una alternancia de suma: en concreto, en la mitad de esa suma parecen relativamente grandes coeficientes de cerca a $\binom{L}{L/2}$. Considere la posibilidad real de datos sujetos a un poco de ruido aleatorio. Este ruido se multiplica por estos grandes coeficientes binomiales y, a continuación, los grandes resultados son casi cancelado por la alternancia de la suma y la resta. Como resultado, la informática diferencias finitas para un gran $L$ tiende a borrar toda la información de los datos y simplemente refleja una pequeña cantidad de ruido, incluyendo el error de medición de punto flotante y error de redondeo. La aparente patrones en las diferencias que se muestra en la pregunta por $L=100$ $L=168$ casi seguramente no proporcionan ninguna información significativa. (Los coeficientes binomiales para $L=100$ conseguir tan grande como $10^{29}$ y tan pequeño como $1$, lo que implica punto flotante de precisión doble error va a dominar el cálculo).

Answer 2

Esto es más un comentario, o a lo mejor, tal vez una pista más para resolver su pregunta, pero mi reputación no me permite publicar comentarios.

Me replica el experimento en el uso de Stata se basa en una Normal estándar con el siguiente código:

clear all
set obs 100000

gen t = _n
tsset t

drawnorm x, n(100000)

forvalues i = 1(1)100 {
generate D`i' = D`i'.x
}

Mirando el correlograms de la diferencian de las variables, me preguntaba por qué la confianza bandas son tan pequeños. Nunca he visto una de esas pequeñas bandas de confianza en Stata correlogram. Alguna idea?

Yo estaba pensando que esto podría ser una pista de porque, con la confianza de bandas tan pequeño, incluso el pequeño autocorrelaciones de los más lejanos a los gal están tomando en cuenta en su absoluta de autocorrelación, si estoy interpretando "absoluta" correctamente.

Aquí está el correlogram para mi dX_10...

...y aquí está de nuevo, ampliado en los primeros 10 gal...

Answer 3

Esto es así porque las diferencias no son independientes el uno del otro. Por ejemplo, $dX_1(1) \equiv X(2) - X(1)$ es directamente proporcional a $X(2)$ mientras $dX_1(2) \equiv X(3) - X(2)$ es inversamente proporcional a $X(2).$ Debido a que las definiciones de los elementos consecutivos de $dX_1$ compartir elementos de $X$ en este inversa manera, esperamos que sean inversamente correlacionada uno al otro. De hecho, como vamos a mayores diferencias de orden $dX_i$, valores consecutivos compartir una superior y una mayor fracción de los elementos de $X$ que ir dentro de su definición, y su anticorrelation aumenta. Sin embargo, si no supiéramos el elemento compartido ($X(2)$ en mi ejemplo) no sería capaz de calcular las diferencias que incluyen este elemento. Por lo tanto, no puede utilizar el anticorrelations en las diferencias para predecir los elementos desconocidos de la $X$ si se generan de forma independiente de los elementos conocidos.