El Kullback-Leibler divergencia tiene una fuerte relación con el intercambio de información, y la información mutua tiene un número de normalizado variantes. Hay algunos similares, la entropía como el valor que puedo utilizar para normalizar KL-divergencia tales que la normalizado KL-divergencia está acotada arriba por 1 (y por debajo de 0)?
Respuestas
¿Demasiados anuncios?
En el caso más general de la clase de las distribuciones de su multiplicativo enfoque de normalización no es posible porque uno puede trivialmente seleccione la comparación de la densidad a ser cero en algún intervalo que conduce a una desenfrenada divergencia. Por lo tanto su enfoque sólo tiene sentido positivo densidades, o donde ambos comparten el mismo soporte (tal vez densidades de la misma clase?)
En su lugar, usted podría considerar la normalización a través de una transformación no lineal como $1-\exp(-D_{KL})$.
abatishchev
Puntos
271
