Densenet aplicado a conjuntos de datos no equilibrados de varias clases

Question

Tengo 30000 datos de imágenes con una etiqueta de clasificación de 5 clases (0,1,2,3,4). Utilizo la técnica de remuestreo dinámico. Al principio remuestreo cada clase a la misma cantidad. Luego disminuyo la clase menor (1,2,3,4). Al final, la proporción se acerca a 1:2:2:2:2 en 200 épocas.

He aplicado densenet169 con pérdida de entropía cruzada en la imagen cruda:

Encontré que la mayoría de los valores de predicción son 0. Luego apliqué una técnica de fortalecimiento del color para preprocesar la imagen. A continuación, enviar a Densenet169:

Encontré que la clase 3 se activó en alguna época al final. Luego fusioné estos dos conjuntos de datos y otro conjunto de datos preprocesados en el canal. Obtuve un tamaño de entrada de 512*512*9. Aquí está el resultado de Densenet:

Los resultados parecen realmente inestables. ¿Alguna sugerencia sobre cómo mejorar los resultados en el futuro?

Answer 1

Las redes neuronales son muy ruidosas; y empíricas. Si crees que las redes de imágenes supervisadas son malas, puedes echar un vistazo a RL, en esta entrada del blog, https://www.alexirpan.com/2018/02/14/rl-hard.html estremecerse de horror, y luego mirar hacia atrás con alivio por lo relativamente estables que son sus curvas supervisadas.

Las redes conv no son convexas, y nadie sabe por qué convergen tan bien. Las cosas realmente convexas, como quizás las redes de suma-producto podrían ser convexas (¿no lo recuerdo?) tienden a no funcionar empíricamente muy bien. Así que estamos atascados con el trabajo empírico, teóricamente ¿cómo funciona?, cosas ruidosas.

Normalmente, una forma de mejorar los resultados de las redes conv es entrenar primero la red en algún conjunto de datos masivo, como ImageNet. Esto permitirá que la red aprenda primero algunas preconcepciones razonables sobre las imágenes. A continuación, se puede afinar con las propias imágenes. Seguirá siendo ruidosa, pero podría, potencialmente, ser ligeramente menos ruidosa, posiblemente, dependiendo de lo bien que sus propios datos coincidan con los de ImageNet...

Answer 2

¿Cuáles son las unidades de los ejes? Si se trata del valor de la pérdida, traza la precisión en un gráfico separado, ya que sus valores no deben ser > 1.

Si la precisión de la validación disminuye, puede ser un signo de que el modelo se ajusta demasiado a los datos de entrenamiento. Aumentar la regularización podría ayudar.