Comprensión intuitiva de la covarianza, la covarianza cruzada, la auto / cruz correlación y la densidad del espectro de potencia

Question

Actualmente estoy estudiando para mis finales en estadística básica para mi licenciatura en ECE.

Aunque creo que tengo bastante dominada la matemática, me falta comprender intuitivamente lo que realmente significan los números. (Preámbulo: usaré un lenguaje un tanto descuidado).

Sé que E[X] es el "promedio ponderado" de todos los resultados de X ponderados por su probabilidad.

Var[X] nos da la varianza esperada a partir de ese E[X] al cuadrado, por lo que nos dice algo acerca de la "difuminación" de la distribución.

Las otras propiedades conozco las fórmulas, pero carezco de algún tipo de intuición. ¿Alguien tiene buenas explicaciones/recursos para ayudar con eso?

Answer 1

Covarianza, como su nombre lo indica, indica la tendencia de dos variables a co-variar o "moverse" juntas. Si cov($X$, $Y$) es positiva, entonces los valores más grandes de $X$ están asociados con valores más grandes de $Y y los valores más pequeños de $X$ están asociados con valores más pequeños de $Y. Si la covarianza es negativa, se cumple lo contrario: los $X$s pequeños están asociados con $Y$s más grandes y viceversa. Por ejemplo, esperaríamos ver una alta covarianza entre el salario y los años de experiencia, pero una covarianza baja o negativa entre el peso y la velocidad máxima de carrera.

La covarianza depende de la escala (por ejemplo, obtendrás una covarianza diferente si el peso se mide en kilogramos o libras) y las unidades son un poco extrañas (dólar-años y kilogramo-metros-por-segundo en nuestros dos ejemplos), por lo que a menudo normalizamos las covarianzas dividiendo por $\sigma_x \cdot \sigma_y$ para obtener correlación. La correlación es adimensional y varía de -1 a 1, lo que la convierte en una medida útil de las asociaciones lineales. (¡Esa parte lineal es una advertencia muy importante!)

Ahora, supongamos que tenemos una serie de valores que están ordenados de alguna manera; estos son a menudo, pero no siempre, una serie temporal. La función de autocorrelación es la correlación entre el valor en la posición/tiempo $t$ y los valores en otras posiciones $(t-1)$, $(t-2)$, etc. Las autocorrelaciones altas pueden indicar que la serie cambia lentamente, o, equivalente-mente, que el valor presente es predecible a partir de valores anteriores. Aunque la varianza y la covarianza son escalares (es decir, valores únicos), la autocorrelación es un vector: obtienes un valor de autocorrelación para cada "rezago" o "brecha". El ruido blanco tiene una función de autocorrelación muy plana ya que es aleatorio; las imágenes naturales típicamente tienen amplias autocorrelaciones espaciales ya que píxeles cercanos suelen ser de color y brillo similares. Un eco podría tener un pico cerca del centro (ya que los sonidos son auto-similares), una región plana durante el silencio y luego otro pico que constituye el eco en sí mismo.

La correlación cruzada compara dos series desplazando una de ellas con respecto a la otra. Al igual que la autocorrelación, produce un vector. El medio del vector es simplemente la correlación entre $X$ e $Y$. La entrada anterior a eso es la correlación entre una copia de $X$ desplazada ligeramente en una dirección y $Y; la entrada después de la mitad es la correlación entre una copia de $X$ desplazada ligeramente en la otra dirección y $Y. (Si estás familiarizado con la convolución, esto es muy similar). Si $X$ e $Y$ son copias (posiblemente retrasadas) una de la otra, tendrán una función de correlación cruzada con un pico de 1.0 en algún punto, con la ubicación del pico dada por el retraso.

Las funciones de autocovarianza y cross-covarianza son similares a sus equivalentes de correlación, pero no escaladas; es la misma diferencia que entre covarianza y correlación.

Una densidad espectral de potencia te indica cómo se distribuye la potencia de una señal en varias frecuencias. La DSP de un tono puro (es decir, una onda sinusoidal) es plana excepto en la frecuencia del tono; las señales y sonidos naturalistas tienen DSP mucho más complejas con armónicos, sobretonos, resonancia, etc. Está relacionado con los otros conceptos porque la transformada de Fourier de la función de autocorrelación es la DSP.

Answer 2

En mi opinión, una buena referencia sobre el tema, desde un punto de vista más pragmático de la ingeniería, en lugar de un rigoroso fundamento matemático, es la obra Dynamics of Structures de Ray W. Clough y Joseph Penzien.