¿Es imprescindible una red neuronal para el aprendizaje profundo?

Question

Recibí materiales preliminares sobre aprendizaje profundo en mi clase. Estaba escrito de la siguiente manera. Esto me planteó la cuestión del significado básico de la palabra aprendizaje profundo.

El aprendizaje profundo es un método de aprendizaje automático que utiliza una red neuronal multicapa.

1. ¿Es imprescindible una red neuronal para el aprendizaje profundo?
2. ¿No es posible hacer aprendizaje profundo sin una red neuronal utilizando PCA? (Ejemplo: PCANet)

Me confunden términos similares como aprendizaje profundo y redes neuronales profundas. Tengo un mes para empezar la escuela y no puedo contactar con mi profesor durante ese tiempo. Les agradecería que me informaran.

Answer 1

Es una buena pregunta.

¿Es imprescindible una red neuronal para el aprendizaje profundo?

Sí, su profesor le ha dado una definición correcta de aprendizaje en profundidad. Se puede hacer aprendizaje automático (una categoría más amplia) sin redes neuronales, pero se necesita una red neuronal para calificarlo de "aprendizaje profundo".

¿No es posible hacer aprendizaje profundo sin una red neuronal utilizando PCA? (Ejemplo: PCANet)

Según la respuesta a la última parte, no. Por definición, ya no sería "profundo". PCANet es en realidad una red neuronal, por cierto.

En cambio, el PCA no es "profundo". Si se apilan varias capas de PCA una encima de otra, entonces hay un PCA equivalente de una sola capa que se podría haber hecho, porque componer esas transformadas lineales solo dará otra transformada lineal.

Answer 2

No estoy de acuerdo con las demás respuestas. Fundamentalmente, yo diría que el aprendizaje profundo se define por una jerarquía de representaciones aprendidas y no por el modelo concreto que se utilice para definir estas representaciones. De hecho, así es como lo definen Goodfellow et al en el sección introductoria de su texto Deep Learning (las redes neuronales no se mencionan hasta más adelante).

En otras palabras, la clave del aprendizaje profundo es que estamos aprendiendo una serie de transformaciones de nuestros datos. Normalmente, estas transformaciones definen una red neuronal, en la que las activaciones de cada capa sirven como datos de entrada transformados. Sin embargo, esto no tiene por qué ser así. Procesos gaussianos profundos por ejemplo, han atraído la atención de los investigadores.

Sin embargo, si yo impartiera una clase introductoria, me sentiría perfectamente cómodo utilizando la definición de tu profesor: en la práctica, la gente utiliza abrumadoramente redes neuronales para el aprendizaje profundo.

Se puede hacer aprendizaje profundo básicamente con cualquier modelo no lineal. PCA, al ser lineal, no cumple los requisitos (aunque los análogos no lineales de PCA, como kernel PCA, puede cumplir los requisitos, véase este artículo ).

Answer 3

Esta respuesta depende de la definición de red neuronal artificial (RNA) que usted considere cierta. Véase mi pregunta aquí: ¿Qué es una red neuronal artificial? . Por lo tanto, no se puede dar una respuesta objetiva, ya que:

1. Para dar cabida a todas las definiciones de RNA, éstas se definen simplemente como grafos computacionales arbitrarios, con parámetros sintonizables (aunque no estén sintonizadas, las redes neuronales aleatorias siguen siendo RNA)
2. No se requiere diferenciabilidad (por ejemplo, se han utilizado algoritmos genéticos y otras metaheurísticas para aprender RNA).

Sin embargo, propondré aquí un enfoque contrafáctico que, según mi experiencia, al menos hace que algunas personas lleguen a la conclusión de que el aprendizaje profundo no se basa únicamente en las RNA:

1. ¿Considera que los modelos jerárquicos ocultos de Markov (HHMM)/las redes bayesianas jerárquicas son un aprendizaje profundo?
2. ¿Considera que son redes neuronales?

Si ha respondido "sí" y "no", la respuesta global es definitivamente "no", para ti existe un modelo de aprendizaje profundo que no es una red neuronal. Otras combinaciones de respuesta darán lugar a respuestas globales indefinidas.

Answer 4

El aprendizaje profundo es el aprendizaje automático realizado mediante redes neuronales "profundas", es decir, tales que tienen varias capas (>2) . Así que no puede hacerlo sin redes neuronales. Para utilizar otros tipos de aprendizaje automático, basta con utilizar el término "aprendizaje automático", que también incluye las redes neuronales.

Answer 5

Para responder desde una perspectiva diferente, un punto filosófico puede ayudar: el concepto de aprender en aprendizaje profundo.

En el aprendizaje profundo, hay múltiples pasos de aprendizaje. En el primer paso, la entrada de datos se "convierte" (o aprende) en una salida intermedia sintética (una abstracción un poco más alta, en términos generales). A continuación, en cada paso, la salida anterior se aprende progresivamente (o se "transforma") en características de mayor abstracción, que pueden o no ser comprensibles para los humanos. Hablando en términos generales, la combinación de estas capas se aproximará al "modelo" por ti, no necesitamos especificar ningún modelo o hipótesis de antemano. Se trata del mismo concepto de "aprendizaje" que en la ciencia cognitiva: encontrar/construir una abstracción superior a partir de una entrada bruta .

Entonces, ¿necesitamos NN para el aprendizaje profundo? Sí, en la práctica. Con mis limitados conocimientos, diría que es la forma más conveniente y eficiente de hacerlo. En teoría, depende. Si construyes un marco de "aprendizaje" en el que tu modelo puede crear una abstracción "profunda" (iterativamente creciente) a partir de la entrada bruta para lograr la tarea que se le ha encomendado, puede contar como aprendizaje profundo.

En la práctica, es un poco simplista considerar el aprendizaje profundo como una simple red neuronal multicapa. A menudo, el flujo de trabajo incluye diferentes componentes de la red neuronal y otras capas de transformación, y cada parte puede ser muy diferente de la siguiente.

Espero que esta respuesta aporte algunas ideas útiles sin necesidad de utilizar términos técnicos.