29 votos

¿Cuál es la diferencia entre una función de pérdida y una función de decisión?

Veo que ambas funciones forman parte de los métodos de minería de datos como Gradiente Impulsar los regresores. Veo que también son objetos separados.

¿Cómo es la relación entre ambos en general?

51voto

phloopy Puntos 4285

A función de decisión es una función que toma un conjunto de datos como entrada y da una decisión como salida. La decisión puede depender del problema en cuestión. Algunos ejemplos son:

  • Problemas de estimación: la "decisión" es la estimación.
  • Problemas de comprobación de hipótesis: la decisión es rechazar o no rechazar la hipótesis nula.
  • Problemas de clasificación: la decisión es clasificar una nueva observación (u observaciones) en una categoría.
  • Problemas de selección de modelos: la decisión es elegir uno de los modelos candidatos.

Normalmente, hay un número infinito de funciones de decisión disponibles para un problema. Si, por ejemplo, estamos interesados en estimar la altura de los hombres suecos a partir de diez observaciones $\mathbf{x}=(x_1,x_2,\ldots,x_{10})$ podemos utilizar cualquiera de las siguientes funciones de decisión $d(\mathbf{x})$ :

  • La media de la muestra: $d(\mathbf{x})=\frac{1}{10}\sum_{i=1}^{10}x_i$ .
  • La mediana de la muestra: $d(\mathbf{x})=\mbox{median}(\mathbf{x})$
  • La media geométrica de la muestra: $d(\mathbf{x})=\sqrt[10]{x_1\cdots x_{10}}$
  • La función que siempre devuelve 1: $d(\mathbf{x})=1$ independientemente del valor de $\mathbf{x}$ . Una tontería, sí, pero no deja de ser una función de decisión válida.

¿Cómo podemos determinar entonces cuál de estas funciones de decisión debemos utilizar? Una forma es utilizar una función de pérdida que describe la pérdida (o el coste) asociado a todas las decisiones posibles. Diferentes funciones de decisión tenderán a conducir a diferentes tipos de errores. La función de pérdida nos indica qué tipo de errores deben preocuparnos más. La mejor función de decisión es la que produce el menor pérdida esperada . Lo que se entiende por pérdida esperada depende del entorno (en particular, si se trata de frecuentista o Bayesiano estadísticas).

En resumen:

  • Las funciones de decisión se utilizan para tomar decisiones basadas en datos.
  • Las funciones de pérdida se utilizan para determinar qué función de decisión se debe utilizar.

0 votos

En el caso de las funciones de decisión paramétricas (p. ej.: regresión logística, decisión de umbral), básicamente se tiene una función posible para cada combinación de parámetros, y la función de pérdida se utiliza para encontrar la mejor. Ejemplo común: si se utiliza el descenso de gradiente para explorar el espacio de los parámetros, se deriva la pérdida con respecto a los parámetros y se desciende a un mínimo (local) de la pérdida.

9voto

Marc Claesen Puntos 9818

La función de pérdida es lo que se minimiza para obtener un modelo que sea óptimo en algún sentido. El propio modelo tiene una función de decisión que se utiliza para predecir.

Por ejemplo, en los clasificadores SVM:

  • función de pérdida: minimiza el error y la norma cuadrada del hiperplano de separación $\mathcal{L}(\mathbf{w}, \xi) =\frac{1}{2}\|\mathbf{w}\|^2 + C\sum_i \xi_i$
  • función de decisión: distancia con signo al hiperplano de separación: $f(\mathbf{x}) = \mathbf{w}^T\mathbf{x} + b$

0 votos

¿No es la norma igual a la distancia, o estoy confundiendo algo aquí? ¿Así que la función de decisión es siempre una parte de la función de pérdida que utilizo para "comparar" con los valores reales a los que intento fijar un modelo? ¿Y el objetivo es minimizar esta "diferencia"?

0 votos

@Hiatus la norma del hiperplano de separación (que se está optimizando al entrenar una SVM) no se utiliza en la función de decisión. Se utiliza el propio hiperplano. Minimizar la norma durante el entrenamiento es básicamente una forma de regularización.

0 votos

Sería mejor dar una respuesta más genérica que no esté ligada a ningún clasificador específico.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X