Cuando la lectura de documentos en la máquina de aprendizaje, he encontrado que los autores suelen hacer referencia a la "entropía de Shannon". Curiosamente, muchas veces, la ecuación dada sería:
$$H(p) = -\sum\limits_{i = 1}^n p_i \ln(p_i)$$
Por ejemplo, ver:
https://arxiv.org/pdf/1502.00326.pdf
https://www.elen.ucl.ac.be/Proceedings/esann/esannpdf/es2014-121.pdf
Hay un montón más
El problema es que para cualquiera que haya tomado un curso en teoría de la información, el término logarítmico en la definición de entropía es la base de $2$, no en base a $e$. Por lo que se refiere a algunos más como la entropía de Gibbs en lugar de la entropía de Shannon.
Mientras que la definición que figura en este documento es correcta para mí: http://www.fizyka.umk.pl/publications/kmk/08-Entropie.pdf
Ha alguien más notó este fenómeno? Podría ser un problema si uno utiliza la entropía de Gibbs en lugar de la entropía de Shannon?
