Veo que ambas funciones forman parte de los métodos de minería de datos como Gradiente Impulsar los regresores. Veo que también son objetos separados.
¿Cómo es la relación entre ambos en general?
Veo que ambas funciones forman parte de los métodos de minería de datos como Gradiente Impulsar los regresores. Veo que también son objetos separados.
¿Cómo es la relación entre ambos en general?
A función de decisión es una función que toma un conjunto de datos como entrada y da una decisión como salida. La decisión puede depender del problema en cuestión. Algunos ejemplos son:
Normalmente, hay un número infinito de funciones de decisión disponibles para un problema. Si, por ejemplo, estamos interesados en estimar la altura de los hombres suecos a partir de diez observaciones $\mathbf{x}=(x_1,x_2,\ldots,x_{10})$ podemos utilizar cualquiera de las siguientes funciones de decisión $d(\mathbf{x})$ :
¿Cómo podemos determinar entonces cuál de estas funciones de decisión debemos utilizar? Una forma es utilizar una función de pérdida que describe la pérdida (o el coste) asociado a todas las decisiones posibles. Diferentes funciones de decisión tenderán a conducir a diferentes tipos de errores. La función de pérdida nos indica qué tipo de errores deben preocuparnos más. La mejor función de decisión es la que produce el menor pérdida esperada . Lo que se entiende por pérdida esperada depende del entorno (en particular, si se trata de frecuentista o Bayesiano estadísticas).
En resumen:
En el caso de las funciones de decisión paramétricas (p. ej.: regresión logística, decisión de umbral), básicamente se tiene una función posible para cada combinación de parámetros, y la función de pérdida se utiliza para encontrar la mejor. Ejemplo común: si se utiliza el descenso de gradiente para explorar el espacio de los parámetros, se deriva la pérdida con respecto a los parámetros y se desciende a un mínimo (local) de la pérdida.
La función de pérdida es lo que se minimiza para obtener un modelo que sea óptimo en algún sentido. El propio modelo tiene una función de decisión que se utiliza para predecir.
Por ejemplo, en los clasificadores SVM:
¿No es la norma igual a la distancia, o estoy confundiendo algo aquí? ¿Así que la función de decisión es siempre una parte de la función de pérdida que utilizo para "comparar" con los valores reales a los que intento fijar un modelo? ¿Y el objetivo es minimizar esta "diferencia"?
@Hiatus la norma del hiperplano de separación (que se está optimizando al entrenar una SVM) no se utiliza en la función de decisión. Se utiliza el propio hiperplano. Minimizar la norma durante el entrenamiento es básicamente una forma de regularización.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.