Estimar el coeficiente de correlación de una distribución normal bivariada estándar

Question

Supongamos que tenemos una muestra de $n$ observaciones de una distribución normal bivariante con medios iguales a cero, las desviaciones igual a uno y la correlación igual a $\rho$, y queremos calcular el estimador de máxima verosimilitud de $\rho$. Para la densidad

$$f(x,y;\rho) = \frac{1}{2 \pi \sqrt{1- \rho^2} } \exp\left\{ -\frac{1}{2 (1-\rho^2)} \left( x^2 - 2\rho xy + y^2 \right) \right\} $$

la estimación de (puntuación) de la ecuación después de algunos simplicación resulta ser

$$\rho \left(1 - \rho^2 \right) + \left( 1 + \rho^2 \right) \frac{ \sum_{i=1}^n x_i y_i}{n} - \rho \frac{\sum_{i=1}^n x_i^2 + \sum_{i=1}^n y_i^2 } {n} = 0$$

que es un polinomio cúbico en $\rho$. Puesto que la ecuación cambia de signo entre el$\rho = -1 $$\rho = 1$, hay al menos una raíz en el intervalo, pero no puede haber tantos como tres reales dentro y fuera del intervalo de $[-1, 1]$.

E. L. Lehmann en su libro Elementos de Gran Muestra de la Teoría, sin embargo, sin más explicación afirma que las soluciones reales correspondientes a un máximo de son en la mayoría de los dos. Aquí está el pasaje exacto,

Esto no es obvio para mí, sin embargo, así que si alguien ve por qué esto es así, agradecería la visión. Gracias.

Answer 1

La pregunta se refiere a la maximización de la probabilidad, la cual es una función de un único parámetro $\rho \in [-1,1]$, encontrando sus puntos críticos. Entre ellos se encuentran los ceros de la derivada del logaritmo de la probabilidad. En este caso, el derivado del registro de probabilidad es una función racional de $\rho$: el numerador es un polinomio cúbico y el denominador es un polinomio de cuarto grado (igual a $(1-\rho^2)^2$). Desde cualquier polinomio cúbico puede tener hasta tres raíces reales, ¿cómo podemos estar seguros de que hay un único máximo de la probabilidad?

Bien, no podemos: como Lehmann señala, no pueden ser dos de los máximos locales. Pero no más que eso. La razón es que cuando hay dos (en cualquier lugar entre los números reales, no sólo en el rango de $[-1,1]$), debido a que cualquier polinomio es diferenciable-debe de haber un mínimo local que se extiende entre ellos. Que mínimo local corresponde a un tercio de la raíz, y que todo no puede ser.

Este argumento puede ser apreciado por mirar a los gráficos de algunas de las funciones que muestran en realidad. En ambas figuras, el azul de puntos de la curva de parcelas en el registro de la probabilidad, la roja discontinua de la curva de parcelas de sus derivados, y el oro sólido de la curva es el numerador de la derivada--el polinomio cúbico en la pregunta.

(Esta situación sólo puede surgir cuando ambos $\sum x_i^2$ $\sum y_i^2$ son sensiblemente menos de $n$, que es cada vez más improbable como $n$ crece grande. En esta figura, ambos valores se $0.08 n$.)

Usted puede ver dos de los máximos locales de la sesión likelood, uno cerca de cada extremo. Entre ellos, por lo tanto, debe haber un mínimo local, y es evidente en la parte inferior de la poca de la "U" de la curva cerca de $\rho=0$. Tres ceros de la derivada y su numerador son visibles donde el rojo y el dorado de las curvas de la cruz de la $\rho$ eje: uno de ellos está muy cerca de a $0$, uno es negativo y el otro positivo. (Esta es una situación en la que los datos son tan inconsistentes con el modelo que el método de probabilidad máxima de no hacer un buen trabajo en la estimación de $\rho$, que en este caso es $0.13$.)

La siguiente figura es más realista. El valor de $\rho$ es el mismo pero esta vez $\sum x_i^2 = n = \sum y_i^2$. La derivada tiene exactamente un cero real, y (por tanto) la probabilidad tiene un máximo local en el interior del dominio, $(-1,1)$.

Tenga en cuenta que $\pm 1$ son siempre puntos críticos (la derivada se convierte en ilimitado medida que se aproxima a estos extremos) y deben ser siempre consideradas. Sin embargo, no es difícil mostrar que nunca volverán a ser los máximos locales, a menos que los datos están perfectamente correlacionados o perfectamente anticorrelated.