Digamos que tengo una predicción para una observación con 3 valores de shap: -2, 3 y 5 para las características A, B y C respectivamente. A continuación, escalo el valor absoluto de los valores shap para que sumen 1 (es decir, A=0,2, B=0,3 y C=0,5). ¿Es apropiado interpretar estos valores shap escalados como una contribución porcentual a la predicción? Por ejemplo, considere que la característica A tiene una contribución del 20% a la predicción.
Respuesta
¿Demasiados anuncios?
Casi sí . Hay algunas advertencias respecto a la interpretación directa de los valores SHAP escalados, como las contribuciones porcentuales de nuestra predicción de clasificación final para una sola observación.
-
Los valores de SHAP en bruto para las tareas de clasificación suelen mostrarse como una contribución aditiva en el dominio de los logaritmos. Eso significa que no es una escala lineal con la que estamos tratando y escalarlos no simplificará masivamente eso. (Algunas implementaciones los transforman en probabilidades, pero no siempre es así).
-
La línea de base de los valores SHAP es siempre relativa, basada en la media de todas las predicciones; es decir, la contribución (valor SHAP) de la característica
Xse refiere a la diferencia entre la predicción real y la predicción media. Por lo tanto, no explican completamente cómo se ha llegado a una sola predicción. (Esto puede variar un poco en función de la aplicación, pero merece la pena comprobarlo). -
Según el alumno utilizado si las características
A,ByCestán en escalas diferentes, sus valores de coeficiente en el dominio de las probabilidades logarítmicas podrían no ser directamente comparables. (Por lo general, no es un gran problema porque a menudo los rasgos están divididos en categorías cuando se trata de la importancia de los rasgos y/o preprocesamos los datos, pero puede ocurrir). -
Los valores SHAP (y Shapley) son aproximaciones al comportamiento del modelo. No garantizan que den cuenta perfectamente de cómo funciona un modelo. (Punto obvio pero a veces olvidado).
Teniendo en cuenta lo anterior, lo que describes (sumar los valores absolutos de SHAP para una predicción individual y normalizarlos para obtener el porcentaje de contribución) es razonable. De hecho, así es como calculamos en general importancias de las características con los valores de SHAP. En este caso más general, sumamos los valores absolutos por característica a través de todo nuestras observaciones (y potencialmente normalizarlas después). Por supuesto, estas contribuciones generales de las características irán en contra de nuestra predicción media; como estamos examinando la importancia relativa de los resultados generales de un clasificador, esto está perfectamente bien. En el caso de un solo punto, se puede argumentar que cualquiera de las advertencias mencionadas anteriormente invalida parcialmente la interpretación que proponemos, pero, siendo realistas, la contribución de cada característica sería "más o menos" en términos de porcentajes para la predicción de una sola observación.
