Aplicar el núcleo "truco" para métodos lineales?

Question

El núcleo truco se utiliza en varios modelos de aprendizaje automático (por ejemplo, SVM). Fue introducido por primera vez en el "fundamentos Teóricos de la función potencial en el método de reconocimiento de patrones de aprendizaje de papel" en 1964.

La definición de wikipedia dice que es

un método para el uso de un clasificador lineal algoritmo para resolver un no-lineal problema de asignación de la original no-lineal de las observaciones dentro de un mayor espacio tridimensional, donde el clasificador lineal posteriormente utilizado; esto hace que un lineal clasificación en el nuevo espacio equivalente a la no-lineal clasificación en el espacio original.

Un ejemplo de un modelo lineal que se ha extendido a problemas no lineales es el núcleo de la PCA. Puede que el kernel truco se puede aplicar a cualquier modelo lineal, o tiene ciertas restricciones?

Answer 1

El núcleo truco sólo puede aplicarse a los modelos lineales, donde los ejemplos en la formulación del problema, aparecen como productos de puntos (Máquinas de Soporte Vectorial, PCA, etc).

Answer 2

Otras dos referencias de B. Schölkopf:

• Schölkopf, B. y Smola, A. J. (2002). El aprendizaje con los núcleos. El MIT Press.
• Schölkopf, B., Tsuda, K., y Vert, J.-P. (2004). Métodos del núcleo de la biología computacional. El MIT Press.

y un sitio web dedicado a núcleo de las máquinas.

Answer 3

@ebony1 le da a la tecla de punto (+1), yo era un co-autor de un documento sobre cómo kernelize generalizada de modelos lineales, por ejemplo, la regresión logística y la regresión de Poisson, es bastante sencillo.

G. C. Cawley, G. J. Janacek y N. L. C. Talbot, la generalización del núcleo de las máquinas, en los Procedimientos de la IEEE/POSADAS Conferencia Internacional Conjunta sobre las Redes Neuronales (IJCNN-2007), páginas 1732-1737, Orlando, Florida, Estados Unidos, 12-17 agosto de 2007. (www,pdf)

También escribí un (calidad de la investigación) de MATLAB, toolbox (tristemente, sin instrucciones), que se puede encontrar aquí.

Ser capaz de modelar el objetivo de la distribución es bastante útil en la incertidumbre quanification etc. por lo que es útil (aunque bastante incremental), además del núcleo de los métodos de aprendizaje.