En el contexto del aprendizaje automático, a menudo escucho el término espacio latente, a veces matizado con la palabra "espacio latente de alta dimensión" o "de baja dimensión".
Este término me desconcierta un poco (ya que casi nunca se define con rigor).
¿Puede alguien proporcionar una definición o motivación del concepto de espacio latente ?
Espacio latente se refiere a un espacio multidimensional abstracto que contiene valores de características que no podemos interpretar directamente, pero que codifica una representación interna significativa de los eventos observados externamente.
Al igual que nosotros, los seres humanos, tenemos una comprensión de una amplia gama de temas y de los eventos que pertenecen a esos temas, el espacio latente pretende proporcionar una comprensión similar a un ordenador a través de una representación/modelación espacial cuantitativa.
La motivación para aprender un espacio latente (conjunto de temas ocultos/representaciones internas) sobre los datos observados (conjunto de eventos) es que las grandes diferencias en el espacio/eventos observados podrían deberse a pequeñas variaciones en el espacio latente (para el mismo tema). Por lo tanto, el aprendizaje de un espacio latente ayudaría al modelo a dar mejor sentido a los datos observados que a los propios datos observados, que es un espacio muy grande del que aprender.
Algunos ejemplos de espacio latente son:
1) Espacio de incrustación de palabras: consiste en vectores de palabras en los que las palabras similares en significado tienen vectores que se encuentran cerca unos de otros en el espacio (medidos por la similitud del coseno o la distancia euclidiana) y las palabras que no están relacionadas se encuentran lejos (Tensorflow's Proyector de incrustación proporciona una buena visualización de los espacios de incrustación de palabras).
2) Espacio de características de la imagen: las CNN de las capas finales codifican características de nivel superior en la imagen de entrada que le permiten detectar eficazmente, por ejemplo, la presencia de un gato en la imagen de entrada en condiciones de iluminación variables, lo cual es una tarea difícil en el espacio de píxeles en bruto.
3) Modelado de temas métodos como LDA , PLSA utilizan enfoques estadísticos para obtener un conjunto latente de temas a partir de un conjunto observado de documentos y una distribución de palabras. ( PyLDAvis proporciona una buena visualización de los modelos temáticos)
4) VAEs y GANs pretenden obtener un espacio/distribución latente que se aproxime al espacio/distribución latente real de los datos observados.
En todos los ejemplos anteriores, representamos cuantitativamente el complejo espacio de observación con un espacio latente multidimensional (relativamente simple) que se aproxima al espacio latente real de los datos observados.
Los términos "alta dimensión" y "baja dimensión" nos ayudan a definir cómo específico o cómo general los tipos de características que queremos que nuestro espacio latente aprenda y represente. El espacio latente de alta dimensión es sensible a las características más específicas de los datos de entrada y a veces puede llevar a un exceso de ajuste cuando no hay suficientes datos de entrenamiento. El espacio latente de baja dimensión pretende capturar las características/aspectos más importantes necesarios para aprender y representar los datos de entrada (un buen ejemplo es una capa de cuello de botella de baja dimensión en las VAE).
Si esta respuesta le ha servido de ayuda, por favor, no olvide votar por ella :)
+1 pero no tiene por qué ocurrir que "no podamos interpretar directamente" las variables latentes, en algunos casos sí.
Sí, es cierto, en algunos casos se puede. Sin embargo, en la mayoría de los casos, la tarea no es trivial debido al reto que supone identificar qué significado abstracto podría codificar cada dimensión. Sin embargo, hay algunos ejemplos bien definidos con un buen análisis de los significados de estas dimensiones. Aquí hay una conferencia del curso 6.S191 del MIT que explica algunos de estos análisis. youtu.be/ulLx2iPTIcs
Aquí puede encontrar ejemplos de variables latentes que son directamente interpretables stats.stackexchange.com/a/430561/35989
Espacio latente es un espacio vectorial abarcado por el variables latentes . Variables latentes son variables que no son directamente observables, pero que son $-$ hasta el nivel de ruido $-$ suficiente para describir los datos. Es decir, el variables observables se puede derivar (calcular) de la latente los.
Permítanme utilizar esta imagen, adaptada de GeeksforGeeks para visualizar la idea:
Cada observable tiene cuatro características visibles: el $x, y,$ y $z$ -coordenadas, y el color. Sin embargo, cada punto está determinado de forma única por un único latente variable, $\varphi$ ( phi en el código python).
phi = np.linspace(0, 1, 100) # the latent variable
x = phi * np.sin(25 * phi) # 1st observable: x-coordinate
y = np.exp(phi) * np.cos(25 * phi) # 2nd observable: y-coordinate
z = np.sqrt(phi) # 3rd observable: z-coordinate
c = x + y # 4th observable: colourEsto es, por supuesto, sólo un ejemplo de juguete. En la práctica, a menudo se tienen muchas, incluso millones de variables observables (pensemos en los valores de los píxeles en las imágenes), pero se pueden calcular suficientemente bien a partir de un conjunto mucho más pequeño de variables latentes. En estos casos puede ser útil realizar algún tipo de reducción de la dimensionalidad.
Como ejemplo del mundo real, consideremos los espectros de los objetos que emiten luz, como las estrellas. Un espectro es un largo vector de valores, intensidades de luz en muchas longitudes de onda diferentes. Los espectrómetros modernos miden la intensidad en miles de longitudes de onda. Sin embargo, cada espectro puede describirse bastante bien mediante la temperatura de la estrella (a través de la ley de radiación del cuerpo negro) y la concentración de diferentes elementos (para las líneas de absorción). Es probable que sean mucho menos que miles, tal vez sólo una docena o dos. Eso sería un espacio latente de baja dimensión .
Sin embargo, hay que tener en cuenta que no es necesario que el espacio latente sea más pequeño que el espacio observable. Es totalmente concebible que muchas variables latentes influyan en pocas variables observables. Por ejemplo, el valor de una acción concreta en la bolsa en un momento determinado es un valor único, pero es probable que se deba a muchas influencias que en su mayoría son desconocidas.
En el aprendizaje automático he visto gente que utiliza espacio latente de alta dimensión para denotar un espacio de características inducido por alguna transformación no lineal de los datos que aumenta la dimensionalidad de los mismos. La idea (o la esperanza) es lograr la separabilidad lineal (para la clasificación) o la linealidad (para la regresión) de los datos transformados. Por ejemplo, las máquinas de vectores de apoyo utilizan el truco del núcleo para transformar los datos, pero la transformación es sólo implícita, dada por la función del núcleo. Estos datos son " latente " en el sentido de que usted (o el algoritmo) nunca conoce sus valores; sólo conoce los productos punto de los pares de puntos.
@Igor F. Cuando pasamos del espacio original al espacio latente, ¿es necesario que la transformación sea invertible?
Este Respuesta de Quora una motivación impresionante para el espacio latente. Cita:
La palabra "latente" significa "oculto". Se utiliza más o menos así en el aprendizaje automático: se observan algunos datos que están en el espacio que que puedes observar, y quieres mapearlo a un espacio latente donde puntos de datos similares están más juntos.
Por ejemplo, considere estas 4 imágenes:
En el espacio de píxeles que se observa, no hay una similitud inmediata entre dos imágenes. Sin embargo, si se mapea en un espacio latente las imágenes de la izquierda estuvieran más cerca unas de otras en el espacio entre sí en el espacio latente que a cualquiera de las imágenes de la derecha. Así que su espacio latente capta la estructura de sus datos en relación con su tarea.
En el LDA, se modela la tarea de manera que los documentos que pertenecen a temas similares están más cerca en el espacio latente de temas.
En las incrustaciones de palabras, se desea asignar palabras a un espacio de vectores latentes de manera que las palabras con significado similar estén más cerca en ese espacio.
Este artículo le daría una gran comprensión sobre el espacio latente, como una breve revisión:
El espacio latente es simplemente una representación de los datos comprimidos en que los puntos de datos similares están más juntos en el espacio.
El espacio latente es útil para aprender las características de los datos y para encontrar representaciones más sencillas de los datos para su análisis.
Podemos entender patrones o similitudes estructurales entre los datos puntos analizando los datos en el espacio latente, ya sea a través de manifolds clustering, etc.
Podemos interpolar los datos en el espacio latente, y utilizar el decodificador de nuestro modelo decodificador de nuestro modelo para "generar" muestras de datos.
We can visualize the latentespacio utilizando algoritmos como t-SNE y LLE, que toma nuestro espacio latente latente y la transforma en 2D o 3D.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
