Sin citar fuentes, Wikipedia define la cruz-la entropía de distribuciones discretas $P$ $Q$
\begin{align} \mathrm{H}^{\times}(P; Q) &= -\sum_x p(x)\, \log q(x). \end{align}
Quién fue el primero en empezar a utilizar esta cantidad? Y quién inventó este término? Me miré en:
J. E. Costa y R. W. Johnson, "Axiomático derivación del principio de máxima entropía y el principio de la cruzada mínima entropía," la Teoría de la Información, IEEE transactions, vol. 26, no. 1, pp 26-37, Jan. 1980.
He seguido su introducción a
A. Wehrl, "propiedades Generales de la entropía," los Comentarios de la Física Moderna, vol. 50, no. 2, pp 221-260, Abr. 1978.
que nunca usa el término.
Tampoco
S. de Kullback y R. Leibler, "Sobre la información y la autosuficiencia," Los Anales de la Estadística Matemática, vol. 22, no. 1, pp 79-86, 1951.
Me miré en
T. M. de la Cubierta y J. A. Thomas, Elementos de la Teoría de la Información (Wiley Series en las Telecomunicaciones y el Procesamiento de la Señal). Wiley-Interscience, 2006.
y
I. Bueno, "de Máxima Entropía para la Formulación de Hipótesis, Especialmente para Multidimensional de Tablas de Contingencia," Los Anales de la Estadística Matemática, vol. 34, no. 3, pp 911-934, 1963.
pero ambos papeles definir cruz-entropía a ser sinónimo de KL-divergencia.
El artículo original
C. E. Shannon, "Una Teoría Matemática de la Comunicación, la" Bell system technical journal, vol. 27, 1948.
No se menciona la cruz de la entropía (y tiene una extraña definición de "relación de la entropía": "La relación de la entropía de una fuente para el valor máximo que podría tener, mientras que todavía restringido a los mismos símbolos").
Finalmente, miré en algunos libros antiguos y documentos por Tribus.
¿Alguien sabe lo que la ecuación anterior se llama, y que lo inventó o tiene una buena presentación de la misma?
