3DMM la modelización de la tubería es bastante complejo. Aquí está un resumen rápido de cómo funciona.
En primer lugar, usted tiene que entrenar el modelo en un conjunto de escaneos en 3D de los rostros. Ellos son los registrados en 3D nubes de puntos, es decir, todas las nubes contienen el mismo número de puntos de $N$, y los puntos corresponden a semánticamente similares partes, por ejemplo, el punto #121 corresponde siempre a la izquierda de los ojos esquina exterior. Esto es muy difícil de lograr, y el algoritmo de flujo óptico en 3D+espacio de color se emplea para parametrizar los análisis (véase la Sección 5). Por lo tanto, cada punto tiene el color correspondiente. (Esto significa que la relación de calibración de color y 3D sensores deben ser conocidos durante la captura).
Entonces, la PCA es aplicado a un conjunto de caras en el $6D \times N$ características (3 de coordenadas y de color RGB para cada una de las $N$ puntos). Encuentra un subespacio de factible caras (Sección 3). Como resultado, cada rostro en 3D puede ser transformado a un vector de variables latentes (PCA espacio) mediante la adopción de las proyecciones de los vectores propios (es decir, $(6D \times N)$- dimensiones vectores de la base que se corresponden con algunos alucinados caras). A la inversa, dada una latente descripción de un rostro (cualquier vector en el PCA espacio), el correspondiente modelo 3D puede ser re-generado. Desde el latente espacio de dimensionalidad es menor, la compresión-descompresión de incurrirá en un error de reconstrucción.
En el tiempo de la prueba, sin embargo, no tenemos formas en 3D, por lo que no puede calcular una representación latente directamente. Por lo tanto, podemos optimizar más de todos los vectores en el PCA, el espacio y todas las posibles cámara plantea, de modo que la imagen se ajuste a la imagen de entrada. El papel cuantifica esta coincidencia sólo como la distancia Euclidiana entre imágenes (Sección 4). No hay más que eso, sin embargo. Es importante para dar cuenta de las probabilidades previas de latente de vectores (por lo tanto, respectivamente, modelos de cara). Desde el PCA esencialmente se ajusta a la distribución normal, la distribución natural de la siguiente manera a partir de su cálculo, por ejemplo, para cada valor propio, la más probable, el valor es de alrededor de cero.
tl;dr: la PCA es aplicado para la estimación previa distribución en el espacio de color escaneos en 3D; después en el tiempo de la prueba se toma una muestra verosímil que pueden ser prestados de forma similar a la imagen de entrada.