Así, esta pregunta es algo involucrados, pero he cuidadosamente tratado de hacer tan simple como sea posible.
Objetivo: cortocircuito Largo de la historia, no es una derivación de neguentropía que hace que no implican una mayor orden cummulants, y estoy tratando de entender cómo se ha derivado.
Antecedentes: (yo entiendo de todo esto)
Yo soy la auto-estudiar el libro 'el Análisis de Componentes Independientes', que se encuentran aquí. (Esta pregunta es de la sección 5.6, en caso que tengas el libro - "Aproximación de la Entropía de Nonpolynomial Funciones').
Tenemos $x$, que es una variable aleatoria, y cuya Entropía queremos estimar, a partir de algunas observaciones que hemos. El PDF de $x$ está dado por $p_x(\zeta)$. Neguentropía es simplemente la diferencia entre el diferencial de la entropía de un sistema estandarizado de variable aleatoria gaussiana, y la diferencia de entropía de $x$. El diferencial de la entropía aquí es dada por $H$, tal que:
$$ H(x) = -\int_{-\infty}^{\infty} p_x(\zeta) \: log(p_x(\zeta)) \: d\zeta $$
y así, la entropía está dada por
$$J(x) = H(v) - H(x)$$
donde $v$ es un estándar de gauss r.v, con PDF dada por $\phi(\zeta)$.
Ahora, como parte de este nuevo método, que mi libro ha obtenido una estimación de la PDF de $x$, dada por:
$$ p_x(\zeta) = \phi(\zeta) [1 + \sum_{i} c_i \; F^{i}(\zeta)] $$
(Donde $c_i = \mathbb{E}\{F^i(x)\}$. Por el camino, $i$ es no un poder, sino un índice de lugar).
Por ahora, en 'aceptar', este nuevo PDF fórmula, y le pregunte acerca de ello otro día. Este no es mi principal problema. Lo que hace ahora, sin embargo, es plug esta versión del PDF de $x$ nuevo en la neguentropía ecuación, y termina con:
$$ J(x) \approx \frac{1}{2}\sum_i\mathbb{E} \{F^i(x)\}^2 $$
Tengan en mente, el sigma (aquí y para el resto del post), solo bucles alrededor del índice de $i$. Por ejemplo, si sólo teníamos dos funciones, la señal de bucle para $i=2$$i=2$. Por supuesto, debo decirle a usted acerca de las funciones que él está utilizando. Así que al parecer, esas funciones $F^i$ se definen como así:
Las funciones de $F^i$ no son funciones polinómicas en este caso. (Suponemos que la r.v. $x$ es igual a cero significa, y de la unidad de la varianza). Ahora, hagamos algunas restricciones y dar propiedades de las funciones:
$$ F^{n+1}(\zeta) = \zeta, \: \: c_{n+1} = 0 $$
$$ F^{n+2}(\zeta) = \zeta^2, \: \: c_{n+1} = 1 $$
Para simplificar los cálculos, hagamos otra, de carácter puramente técnico hipótesis: Las funciones $F^i, i = 1, ... n$, formar una ortonormales sistema, tales como:
$$ \int \phi(\zeta) F^i(\zeta)F^j(\zeta)d\zeta= \begin{cases} 1, \quad \text{if } i = j \\ 0, \quad \text{if } i \neq j \end{casos} $$
y
$$ \int \phi(\zeta)F^i(\zeta)\zeta^k d(\zeta) = 0, \quad \text{para } k = 0,1,2 $$
Casi allí! Ok, así que todo lo que estaba en el fondo, y ahora por la pregunta. La tarea es entonces, simplemente coloque este nuevo PDF en el diferencial de la fórmula de la entropía, $H(x)$. Si entiendo esto, me va a entender el resto. Ahora, el libro da la derivación, (y estoy de acuerdo con ella), pero me quedo atascado hacia el final, porque yo no sé, a ver cómo es la cancelación. También, no sé cómo interpretar la pequeña o la notación de la expansión de taylor.
Este es el resultado:
El uso de la expansión de taylor $(1+\epsilon)log(1+\epsilon) = \epsilon + \frac{\epsilon^2}{2} + o(\epsilon^2)$ $H(x)$ obtenemos:
$$ H(x) = -\int \phi(\zeta) \; (1 + \sum c_i F^i(\zeta)) \; (log(1 + \sum c_i F^i(\zeta) + log(\zeta)) \; d(\zeta) \\ = -\int \phi(\zeta) log(\zeta) -\int \phi(\zeta) \sum c_i F^i(\zeta) log(\phi(\zeta)) -\int \phi(\zeta) \; [\sum c_i F^i(\zeta) + \frac{1}{2}(\sum c_i F^i(\zeta))^2 + o((\sum c_i F^i(\zeta))^2)] $$
y así
La Pregunta: (yo no entiendo de esto) $$ H(x) = H(v) - 0 - 0 -\frac{1}{2}\sum c_i^2 + o((\sum c_i)^2 $$
Así que, mi problema: a Excepción de la $H(v)$, no entiendo cómo llegó a la final 4 términos en la última ecuación. (es decir, el 0, el 0, y el último 2 términos). Entiendo todo antes de que. Él dice que él se ha aprovechado de la ortogonalidad de las relaciones dadas en las propiedades anteriores, pero no veo cómo. (Yo también, no entiendo la pequeña o la notación aquí, en el sentido de cómo se usa?)
GRACIAS!!!!
EDITAR:
He pasado por delante y añadido las imágenes del libro que estoy leyendo, es más o menos dice lo que he dicho anteriormente, pero por si acaso alguien necesita más contexto.
Y aquí, marcado en rojo, es la parte exacta que me confunde. ¿Cómo utilizar las propiedades de ortogonalidad para conseguir que la última parte, donde las cosas se cancela, Y el final sumatorias que implican $c_i^2$, y las pequeñas-o la notación de sumatoria? Gracias.
