Resultados probabilísticos de MVS

Question

Recuerdo un artículo de 1999 (hace 13 años!) llama Probabilística de las Salidas para las Máquinas de Vectores Soporte y Comparaciones para la Regularización de la Probabilidad de Métodos (1999) por John Platt la que se describe un método para obtener probabilístico salidas de un SVM. Desde el resumen:

En su lugar, podemos entrenar a un SVM, luego el tren de los parámetros de un adicional de función sigmoidea un mapa de la SVM salidas en probabilidades.

Mientras esto proporciona una solución de tipo, es un poco insatisfactorio, ya que significa la realización de dos por separado (y aparentemente algo no relacionado) problemas de optimización.

Hay un enfoque más moderno para este problema (sin tener que recurrir a Gaussiano Proceso de clasificación, por ejemplo)?

Answer 1

No sé si hay enfoques recientes para el problema, pero creo que sé por qué John Platt resuelto el problema en este tipo de manera insatisfactoria. Muchos algoritmos de aprendizaje automático puede ser escrito como regularizer además de la pérdida de la función. Por ejemplo, ridge regresión $\lambda ||w||^2 + \sum_i (y_i - w^\top x_i)^2$. El minimizer de esto es equivalente a que el MAPA de una Gaussiana antes en $w$ y una probabilidad Gaussiana (acaba de tomar una exp alrededor de toda la expresión y poner un signo menos delante). El SVM función objetivo similar. El cuadrado de la norma regularizer sigue siendo la misma, pero la función de pérdida es reemplazado por la bisagra de la pérdida. El problema ahora es que la exp de la bisagra de la pérdida no se corresponde con una adecuada probabilidad. Tal vez hay enfoques para el cambio, con el fin de convertirse en uno, pero entonces la pregunta es si todavía se llama la SVM.

Edit: Una cosa que uno siempre puede hacer es embolsado. Uno podría entrenar $n$ SVMs en diferentes partes del conjunto de datos y, a continuación, simplemente contar la fracción de positivo/negativo de la votación SVMs en fase de pruebas. Sin embargo, esto no es específico para SVMs, por supuesto.