Processing math: 100%

6 votos

¿Puede utilizarse una red de creencia (RBMS apiladas) como generador de un conjunto de datos?

Tengo un gran conjunto de datos (decenas de miles de predictores) en el que me gustaría realizar la función de reducción con la intención de mejor construcción de un modelo para la predicción. Profundo de las Redes de Creencia parece abordar el problema de tal manera que producen una salida que guarda cierta semejanza con la de la PCA, es decir, una serie de "virtual" de las dimensiones que pueden ser utilizados para explicar la variación en los datos.

A diferencia de la PCA, sin embargo, parece que cada ejemplo de DBNs seguir el ejemplo original de Hinton, que se utiliza para generar una serie de iniciar pesos para un feed-forward de la red neuronal. Hay una razón por la que nadie parece utilizar apilados Rbm como, por ejemplo, la entrada para la regresión lineal o k-vecino más cercano?

4voto

karatchov Puntos 230

Tenga en cuenta que inicialización de las redes neuronales con DBNs es más de una anécdota histórica hoy en día. Directo de entrenamiento supervisado con la deserción de la regularización y el modelo lineal por tramos de activación de funciones tienden a funcionar mucho mejor en la presencia de muchos etiquetados ejemplos de formación.

Más respuesta directa a su pregunta:

1) el Uso de DBN características para la regresión lineal o regresión logística no es nada, pero el ajuste preciso de la red. La diferencia es que usted también adaptar los parámetros de la jerarquía completa si inicializar una red neuronal.

2) KNN ha sido utilizado en la parte superior de una red neuronal, ver (Salakhutdinov, Ruslan, y Geoffrey E. Hinton. "El aprendizaje de una relación no lineal de la incrustación por la preservación de un barrio de clase de la estructura." Conferencia internacional sobre Inteligencia Artificial y Estadística. 2007.) Todo el método es más complicado, aunque, como la DEA es más bien ajustado para KNN uso.

3) DBNs también han sido utilizados como insumos para procesos de Gauss (Salakhutdinov, Ruslan, y Geoffrey E. Hinton. "Usando una Profunda Creencia de Redes para Aprender Covarianza Núcleos Gaussiana Procesos." PNA. 2007.)

4) Y profundidad de las redes también se han utilizado para aprender el Kernel para las SVMs. (Yichuan Tang "Aprendizaje Profundo Lineal de Máquinas de Vectores Soporte")

Otros métodos, tales como Gbm o RFs, parece que no se considera, ya que no son diferenciables y así afinar el extractor de características no es posible.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X