Cómo encontrar una ganancia de información para valores numéricos

Question

Tengo 4 clases y cuatro conjuntos de características extraídas de los enormes datos extraídos del sistema de adquisición de datos en tiempo real.

.

En la tabla anterior, hay 4 conjuntos de características para cada clase. (C1, C2, C3 y C4). Pero al calcular la ganancia de información, la ganancia de información es la misma para cada característica que para todos los atributos, ya que sólo hay un valor de cada atributo para cada clase.

¿Puede alguien ayudarme a calcular la ganancia de información para construir un árbol de decisión?

Gracias DDas

Answer 1

Para utilizar la Ganancia de Información, tienes que utilizar una especie de función deslizante.

En este ejemplo, utiliza GiniSplit, pero puedes aplicar Entropía / Ganancia de información. Esencialmente se ordenan los datos de forma ascendente. A continuación, para cada valor distinto, se crea una división (menor o igual que el valor frente a mayor que el valor) y calcular la InformationGain en esa división. Por último, elija la división que mejore más la ganancia de información.