SVM vs red neuronal artificial

Question

He multiclase desequilibrada de datos (4 clase con 15% 25% 45% 15% datos en cada clase). El método es bueno para la clasificación de dichos datos - SVM o ANN?

ACTUALIZACIÓN - voy a hacer la pregunta más general. @Dikran Marsupial dijo en una respuesta "opción de clasificador depende de la naturaleza del conjunto de datos particular", pero ¿cuáles son los factores que debe considerar antes de elegir un clasificador. Entiendo que el primero que eligió no puede dar mejor respuesta todo el tiempo, pero puede ser un buen punto de partida. Entonces, ¿qué propiedades de los datos que debe considerar antes de elegir un clasificador??

Answer 1

La no-almuerzo libre teoremas sugieren que no existe clasificador que es a priori superior a cualquier otro, y la opción de clasificador depende de la naturaleza del conjunto de datos concreto. Yo no cmomit a mí mismo a una opción de clasificador y que en su lugar de evaluar varios métodos.

Las clases son sólo ligeramente desequilibrada, por lo que sospecho que no debe ser un factor clave en la decisión de que el clasificador de usar.

Una pregunta más importante sería si usted quería una discreta sencilla clasificación, o si desea que las estimaciones de las probabilidades de pertenencia a una clase, por ejemplo, porque usted tiene desconocida o variable mal costes de clasificación, o relativa de la clase de frecuencias, o si sería beneficioso tener un "rechazar" opción. En caso de que la SVM no es una buena opción ya que está diseñado para realizar la clasificación, y en lugar de post-procesamiento de la salida para obtener las probabilidades es mejor utilizar un método que fue diseñado para proporcionar un probabilística de salida en el primer lugar, como núcleo de regresión logística.

Answer 2

Por su especificidad en el siguiente voy a asumir que una ANN aquí significa un feedforward de múltiples capas de red neuronal / tipo perceptrón como se discutió en, por ejemplo, el Obispo de 1996. y una SVM es la esencia de vainilla, por ejemplo, la versión de Hastie y Tibshirani.

@Dikran Marsupial puntos acerca de la estructura del dominio son importantes. De hecho, es posible que desee leer DM otra respuesta acerca de las SVMs. La posibilidad de tener un trabajo posterior sobre las clases es importante si usted espera para aplicar una función de pérdida o de otra manera actuar en su nivel de clasificación de certeza, así como la actual de la clasificación. Si no: bueno, no.

Además, puedo ver cuatro formas más para elegir.

La pérdida de función

Una manera de distinguir los dos es decidir cuya función de pérdida que usted prefiera. Clásicamente, las redes neuronales han suave pérdida de las funciones, por ejemplo, la entropía para multi-clase de la clasificación. SVMs tienden a tener algún tipo de "bisagra pérdida': 0 a un punto de aumentar. Uno de estos puede ser un ajuste más natural a su problema.

El tamaño de los datos

Otra consideración es el tamaño de los datos y de almacenamiento. Usted menciona su categoría de balance, pero no el tamaño total de los datos. SVMs, por definición, mantener y utilizar sólo el apoyo de los vectores", un subconjunto de observaciones que ancla la separación de hyperplane(s). Esto puede hacer que para un pequeño clasificador final. También, tradicional ANN formación puede ser lento - el espacio de funciones tan suave como el implícito de gauss proceso que las ANN es la aproximación con su número finito de nodos ocultos es grande...

Varias clases

Si usted tiene múltiples datos de la categoría, SVMs tienen varias maneras de construir la necesaria multi-clase clasificador de individuales, dos de la clase de modelos SVM. Al menos existen tres métodos que, como @fabee señala, no puede dar las mismas respuestas. Su referencia se ve como una de las más útiles. Las opciones son mucho más clara ordinario alisado modelo de clasificación estadística territorio, donde sus ANN pertenece.

Interpretabilidad

Si usted se preocupa acerca de discernir la importancia de las diferentes variables de control, a continuación, ANNs darle hyperparameters a pesar de que los métodos más tradicionales pueden ser tan o más eficaz y directo en ello, por ejemplo, el Lazo (L1 regularización) para modelos de regresión lineal. Si el éxito de la predicción es su única meta, entonces, este aspecto es, por supuesto, irrelevante.

Answer 3

Esta pregunta no puede ser contestada de manera genérica. Incluso depende de la multi-clase de la clasificación de la estrategia que está utilizando (es decir, uno contra uno, uno-vs-resto, ...). Personalmente, me gustaría utilizar un SVM y elegir un multi-estrategia de clase que se ajusta a mi problema y mi consumo de recursos computacionales. Un buen papel cómo hacer que es:

La reducción de la Multiclase a Binario: Un Enfoque Unificador para el Margen de los Clasificadores Erin L Allwein, Robert E Schapire, Yoram Cantante en el Diario de la Máquina de Aprendizaje de la Investigación (2001)

Si desea que todos los de la clase de conjunto de datos a ser igual de importante que usted puede usar el rápido y sucio hack de clonación de puntos de datos en las clases más pequeñas, hasta que cada clase tiene el mismo número de puntos de datos o puede utilizar un SVM aplicación que permite establecer diferentes penalización de las constantes C, para cada clase.