Envejecer/envejecer un conjunto de datos de imágenes

Question

Restauración de fotos antiguas mediante la traducción del espacio latente profundo ( https://paperswithcode.com/paper/old-photo-restoration-via-deep-latent-space )

Mi equipo y yo estamos interesados en reproducir su trabajo. Sin embargo, el conjunto de datos no se nos proporciona. Necesitamos varios cientos de fotos y personas en ellas. Hemos encontrado el siguiente conjunto de datos IMDB-WIKI - Más de 500.000 imágenes de caras con etiquetas de edad y sexo .

¿Cuál es la mejor manera de envejecer ese tipo de imagen?

EDITAR

Esta es una forma de "envejecer" las fotos. Utilizando OpenCV, puedo convertir estas imágenes a blanco y negro (escala de grises) y luego fusionar/mezclar estas imágenes con diferentes texturas de fotos antiguas . Para ello, véase Sumar (mezclar) dos imágenes con OpenCV . Esta técnica parece bien, pero es difícil de aplicar a un gran conjunto de imágenes. Me gustaría obtener algo similar a las imágenes anteriores.

Answer 1

Según el periódico, no se puede.

Citado directamente del periódico:

"El proceso de degradación de las fotos antiguas es bastante complejo, y no existe ningún modelo de degradación que pueda representar el artefacto fotográfico antiguo".

"No importa para la degradación no estructurada o estructurada, aunque los métodos basados en el aprendizaje anteriores pueden lograr resultados notables, todos ellos están entrenados con datos sintéticos. Por lo tanto, su rendimiento en el conjunto de datos reales depende en gran medida de la calidad de los datos sintéticos. En el caso de las imágenes antiguas reales, ya que degradaciones desconocidas, el análisis de la degradación subyacente degradación desconocida, el proceso de degradación subyacente es mucho más difícil de caracterizar con precisión. En otras palabras, la red entrenada sólo con datos sintéticos, sufrirá problema de la brecha de dominio y tendrá un mal rendimiento en las fotos antiguas reales". fotos".

"Sin embargo, estos métodos siguen basándose en el aprendizaje supervisado a partir de sintéticos y, por tanto, no pueden generalizarse a las fotos reales".

"Las fotos antiguas contienen una degradación mucho más compleja que es difícil de modelar de forma realista y siempre existe una brecha de dominio entre las fotos sintéticas y las reales. Por ello, la red no suele generalizar bien a las fotos reales aprendiendo únicamente de los datos sintéticos."

De acuerdo con este documento, no se conoce ninguna forma de "envejecer" una imagen que represente fielmente la degradación de las fotografías reales. Un modelo entrenado con datos sintéticos puede no aplicarse bien a los datos reales.

Answer 2

No puedo comentar las respuestas de los demás, así que perdóname si repite un poco lo que han dicho otros, pero el artículo destaca una forma de "envejecer" las imágenes, aunque admiten que el proceso es imposible de recrear artificialmente.

Lea la sección 4.2 (Generación de datos) del documento:

Degradación no estructurada

Utilizamos las siguientes operaciones para simular la degradación no estructurada. >Específicamente,

1. Ruido blanco gaussiano conσ∈(5,50).

2. Desenfoque gaussiano con tamaño de núcleok⊂ {3,5,7} y desviación estándarσ∈(1,0,5,0);

3. Compresión JPEG cuyo nivel de calidad está en el rango de(40,100);

4. La fluctuación de color que desplaza aleatoriamente los canales de color RGB en (-20,20);

5. Desenfoque de caja para imitar el desenfoque del objetivo.

Yo mismo lo he probado, y los resultados no son tan malos, pero apenas se aplican a las fotos tomadas con película real.

He aquí un ejemplo: