Derivación de la fórmula de impurezas de Gini

Question

Hay un paso en el Artículo de Wikipedia sobre la formulación de la Impureza de Gini que no puedo entender.

Afirman que:

Sigo todo hasta este punto

$1-\sum_{i=1}^Jf_i^2 = \sum_{i\ne k}f_if_k$

Existe una hilo que da una explicación intuitiva, pero me pregunto si alguien conoce las matemáticas reales que hay detrás de este paso.

Answer 1

He aquí un fragmento de mi respuesta aquí . La forma más fácil (al menos para mí) de entender

$1-\sum f_i^2$ = $\sum_{i \neq k} f_if_k$

es representando visualmente cada uno de los elementos de esta ecuación. Supondremos que hay 4 etiquetas a continuación; sin embargo, esto se escalará a n valores.

El valor 1 es simplemente la suma de todas las probabilidades posibles. Por definición, este valor debe ser 1.

El valor $\sum f_i^2$ es la suma de probabilidades de seleccionar un valor y su etiqueta de la distribución de valores.

Restando a 1 la probabilidad de que coincidan etiquetas con valores se obtiene la probabilidad de que no coincidan etiquetas y valores. Esto es lo que proporciona la impureza de gini: la probabilidad de que no coincidan las etiquetas con los valores.

Answer 2

Recuerdo haber leído esto mismo en Wikipedia pensando que era una errata. Pero no lo es. Y las matemáticas son realmente sencillas. Tenga en cuenta que $f_if_k$ corresponde a la probabilidad de observar un $i$ seguido de un $k$ a partir de dos extracciones independientes de la distribución $f$ . Por lo tanto, si se suman las probabilidades de todos los $(i,k)$ pares que se obtienen $1$ . En otras palabras, tenemos la igualdad, $$\sum_{i=1}^J \sum_{k=1}^J f_i f_k = 1$$ Pero podemos reescribir el doble sumatorio como $$\sum_{k=1}^J f_i f_k = \sum_{i=1}^J f_i^2 + \sum_{i=1}^J \sum_{k=1, k \ne i}^J f_i f_k$$ Entonces, si se resta $\sum_{i=1}^J f_i^2$ desde arriba y desde abajo, se llega a la igualdad de intereses.