Pregunta : En general, ¿cuál es el efecto de ruido en una estimación obtenida a partir de la Estimación de Máxima Verosimilitud de la técnica?
Respuesta
¿Demasiados anuncios?
Para referencia en el futuro, el papel relacionados a esta pregunta es:
Jaap C. Schouten, Floris Takens, y Cor M. van den Bleek, "La estimación de máxima verosimilitud de la entropía de un atractor", Phys. Apo. E 49, 126 – Publicado El 1 De Enero De 1994.
En este trabajo, los autores desean obtener la Máxima Verosimilitud (ML) estimación de la entropía de Kolmogorov, que se denota con a $K$. En orden a ello, como paso previo, una cantidad denominada $k=K \tau_s$ donde $\tau_s = 1/f_s$ $f_s$ es la frecuencia de muestreo, se estima a través de ML técnicas. Esta respuesta se centrará en los aspectos estadísticos de la pregunta.
En este caso, el pdf (función de densidad de probabilidad) es dado por la eq. (17) del papel, es decir, $$ p(b_1,b_2,\dots,b_M; k) = (e^k -1)^M \exp \left\{ -k \sum_{i=1}^M b_i \right\} $$ donde $M$ independiente de la realización de $b \in \mathbb{N}_0$, que es una variable aleatoria (RV) cuya pdf es una distribución geométrica, se observan. La reformulación directamente en función de $K$, el verdadero problema a resolver es $$ \hat{K}_{ML} = \arg \max_{K} \ (e^{K \tau_s} -1)^M \exp \left\{ -K \tau_s \sum_{i=1}^M b_i \right\} $$ y la forma cerrada de la solución está dado por la eq. (20), que puede escribirse como $$ \hat{K}_{ML} = - f_s \left| 1 - \frac{1}{\bar{b}} \right| $$ donde $\bar{b}$ es la media de la muestra de la $b_i$. Observar que, puesto que el $b_i$ son vehículos recreativos, $\bar{b}$ es en sí mismo un RV. Claramente, $\hat{K}_{ML}$ maximiza la probabilidad de la función. $\hat{K}_{ML}$ es un estimador, por lo tanto, por definición, es una variable aleatoria. Más precisamente, su aleatoriedad viene del hecho de que $\bar{b}$ es al azar. En principio, si la distribución de los $\bar{b}$ podría ser calculado, entonces también la distribución de $\hat{K}_{ML}$ se podrían derivar.
En general, si un estimador $\hat{x}$ es absolutamente continuo RV, lo que denota dos estimaciones (es decir, las realizaciones del estimador) con $\hat{x}_1$$\hat{x}_2$, $\hat{x}_1 = \hat{x}_2$ sucede wp0 (con una probabilidad de cero). Esto no significa que no puede ocurrir nunca, sino sólo que es "insignificante" (usando la teoría de la medida, una clara analogía es un cero de la medida). De hecho, un evento con probabilidad cero se llama insignificante (y no "imposible") y esta es la verdadera sutileza.
Esto da lugar a un poco contra-intuitivo resultados, tales como el hecho de que insignificante eventos pueden ocurrir incluso una cantidad infinita de veces (!), dado un infinitamente largo período de observación.
SNR influye en el comportamiento del sistema y juega un papel importante. Voy a explicar esto con una analogía. Considere la siguiente declaración simplificada $$ (1) \quad \hat{K}_{ML} \sim \mathcal{N}\left( K, \frac{1}{SNR} \right) $$ Si SNR cambios, los parámetros de la distribución de $\hat{K}_{ML}$ cambiar demasiado y esto afecta directamente a las estimaciones. Para ver esto más claramente, se nota que $$ (2) \quad \lim_{SNR \+\infty} \hat{K}_{ML} = K $$ exactamente como se esperaba. De forma equivalente, si se observa que la $$ (3) \quad \hat{K}_{ML} = K + n, \quad n \sim \mathcal{N}(0, \sigma^2) $$ donde $\sigma^2$ está relacionado con el SNR, la distribución gaussiana degenera en el límite de $\sigma^2 \to 0$ $n$ se derrumba en su media, es decir, cero. Este es un ejemplo muy simple: sin embargo, muchos de los importantes problemas prácticos que se presentan similar comportamiento (y uno debe ser cuidadoso de los problemas que no!).
Resumiendo, cada vez que el sistema se simula, se puede obtener una estimación. Este va a ser "casi seguramente" diferente de los anteriores y estimaciones a futuro, ya que cada cambio en los parámetros que rigen la distribución del estimador $\hat{K}_{ML}$ (SNR, adivinado parámetro, $M$, $f_s$, ...) afectan directamente a las estimaciones. Esto no debe ser pensado como un comportamiento negativo, ya que lo que realmente importa son las propiedades estadísticas del estimador, tales como ser imparcial, coherente, eficiente, etc..., y esta es también la razón por la que los límites, tales como el CRLB son útiles y se utilizan con frecuencia.
