Cuando da muestras de una variable aleatoria discreta, la entropía de la distribución puede ser estimado por $- \sum \hat{P_i} \log{\hat{P_i}}$ donde $\hat{P_i}$ es el ejemplo de estimación de la frecuencia de la $i$th valor. (esto es una constante determinada por la base del registro.) Esta estimación no debe ser aplicado a las observaciones de una distribución continua, al menos ingenuamente, porque daría lugar a un valor que depende únicamente del tamaño de la muestra.
Beirlant et al describen una serie de enfoques para el problema continuo, incluyendo estimaciones basadas en CDF empírica, vecino más cercano, las distancias y las $m$-espaciado de estimación, el cual es dado por $$\frac{1}{n}\sum_{i=1}^{n-m}\log{(\frac{n}{m}(X_{(i+m)} - X_{(i)}))}$$, where $X_ {i)}$ is the $i$th order statistic of the sample, and $m$ varies in a certain way with $n$. It is not clear how this estimate is to be computed in the presence of ties, i.e. it does not appear to be applicable to discrete distributions. (a naive correction for ties (drop terms which have $\log{0}$) parece dar un estimador que no depende de la frecuencia relativa de las clases, sólo sus valores, lo que parece malo.)
La pregunta: ¿hay un 'all-purpose' estimador de que puede tratar con discretos y continuos (o mezclado) de las distribuciones?
