Modelado de ruido real/ generación de mapas de ruido (procesamiento de imágenes, aprendizaje profundo)

Question

Estoy trabajando en un proyecto con imágenes muy ruidosas. He entrenado un detector que puede detectar los caracteres pero falla en algunos casos (el ruido es alto).

Hasta ahora he revisado muchos documentos sobre denoising, deblurring y superresolución. El problema con los artículos de denoising es que en casi todos ellos se utiliza un ruido gaussiano específico para añadir primero el ruido y se entrena el modelo con él. Lo he probado, pero no funciona muy bien en mi ámbito, ya que la fuente de ruido en mis imágenes es diferente.

Digamos que tengo algunos miles de imágenes (datos reales con ruido), ¿hay algún enfoque de aprendizaje profundo/procesamiento de imágenes que me ayude a obtener un mapa de ruido que utilizaré para aumentar mis imágenes limpias para poder entrenar modelos de eliminación de ruido?

Answer 1

Digamos que tienes $m$ imágenes ruidosas $I_N^{i};i \in [1...m ]$ . Una forma de lograr su objetivo final es la siguiente:

1. Ejecute técnicas de eliminación de ruido basadas en el aprendizaje de una sola imagen en sus imágenes con ruido para obtener las correspondientes imágenes limpias. Puede utilizar Imagen profunda previa ( código ) o Noise2Void - Aprendizaje de la eliminación de ruido a partir de imágenes individuales con ruido ( código ). Estos métodos aprenden las estadísticas de intensidad de una imagen para denotarlas, en lugar de utilizar una distribución fija de pares de fuentes (por ejemplo, la gaussiana). Su modelo $M(\cdot)$ toma imágenes con ruido $I_N^{i}$ y produce las correspondientes imágenes limpias $I_C^{i}$ .
2. Utilizando los pares limpios y ruidosos del paso 1 anterior, entrena un modelo totalmente supervisado $P(\cdot)$ para producir una imagen ruidosa, dada una imagen limpia como entrada. Para ello, se puede utilizar una arquitectura de superresolución fuerte de una sola imagen ( varias opciones aquí ). ¿Por qué la superresolución? Porque el mapa de ruido tiene altas frecuencias, similares a la máscara compuesto por arquitecturas de superresolución sobre la imagen de entrada. Estas máscaras mejoran esencialmente los bordes, que tienen una estructura de alta frecuencia.
3. Utilizando $P(\cdot)$ , pasar otras imágenes limpias para crear un nuevo conjunto de datos para el entrenamiento de su modelo de eliminación de ruido original, esto es lo que quería lograr.

El mapa de ruido sería simplemente $N^{i}=I_{N}^{i}-I_{C}^{i}$ . Para la formación $P(\cdot)$ en el paso 2, puede aplicar un ligero aumento de los datos, por ejemplo, rotación, escalado (acercamiento/alejamiento), traslación, y ligeros ajustes de brillo y contraste.