Supongo que estás considerando las características en el marco del aprendizaje supervisado.
Puedes crear para cada característica algunas características derivadas basadas en el nivel de confianza. Después, usa selección de características para elegir las que más te sirvan.
La forma más directa de derivar características basadas en la confianza es establecer algunos niveles de confianza (por ejemplo, por encima del 90%, por encima del 80%, ...). Si el nivel de confianza en un registro es lo suficientemente alto, úsalo. De lo contrario, usa nulo.
Formas más avanzadas son agrupar de acuerdo con la distribución de confianza de cada característica (donde puedes usar igualdad de grupos, igualdad de profundidad de grupos) o discretización con respecto al concepto (por ejemplo, pérdida mínima de información mutua).
Si eliges diez umbrales, entonces el número inicial de características será diez veces mayor. Bastante alto pero aún aceptable.
Después de tener el conjunto de características, necesitarás una función de evaluación para la selección de características. Supongo que cuanto mayor sea la confianza que tengas, menor será el ruido que tendrás. En un punto dado, podrías perder demasiado la señal. En este punto, evalúalas contra el concepto y ve cómo avanzar más.