Me interesa saber qué arquitectura de red neuronal es actualmente el estado del arte (a veces abreviado como "SOTA") con respecto a las tareas estándar de clasificación de imágenes, como MNIST, STLN-10 y CIFAR. Esto es un reto porque se publican nuevos resultados con frecuencia, y puede ser difícil mantenerse al día. ¿Existe algún recurso o sitio web que haga un seguimiento de los mejores resultados de estas tareas?
Respuestas
¿Demasiados anuncios?
user777
Puntos
10934
Se mantiene una especie de "tabla de clasificación" en este sitio web, " Resultados de los conjuntos de datos de clasificación ". Los mantenedores intentan mantener un registro de los resultados publicados de varias arquitecturas de redes neuronales.
La tabla de clasificación no se limita a las CNN por sí mismo -- cualquier red es admisible. Pero como todas las tareas que se siguen en la tabla de clasificación son tareas de imagen (en el momento de escribir este artículo), es probable que muchas de las redes sean CNN, ya que son muy eficaces en tareas de imagen.
OmaL
Puntos
106
La mejor sugerencia es la de shimao:
Por lo general, cualquier documento nuevo que afirme que el rendimiento es bueno o vanguardista en cualquier tarea tendrá una tabla de resultados bastante completa en la que se comparan con los resultados anteriores, lo que puede ser una buena forma de hacer un seguimiento.
Cualquier tabla de clasificación pronto será inútil, porque básicamente siempre la mantienen los estudiantes (de grado o de posgrado), que dejan de actualizarla en cuanto obtienen su título o consiguen un trabajo. De todos modos, si CIFAR-10 y CIFAR-100 son lo suficientemente buenos para ti, esto es bastante bueno:
https://github.com/arunpatala/cifarSOTA
Este es más general (incluye ImageNet) y tiene resultados más recientes:
https://github.com/Lextal/SotA-CV
Este es el que yo utilizaba, pero el propietario ha dejado de actualizarlo, como suele ocurrir:
https://github.com/RedditSota/state-of-the-art-result-for-machine-learning-problems/
Por último, te puede interesar este Jupyter cuaderno publicado hoy mismo por Ali Rahimi, basado en datos extraído del LSVRC y del sitio web de COCO.
Una última nota: si buscas los últimos resultados porque quieres comparar tus resultados con los de SotA, estupendo. Sin embargo, si su objetivo es aplicar la "mejor" arquitectura de ImageNet a una aplicación industrial mediante el aprendizaje por transferencia, debería saber (si no lo sabe ya) que las últimas arquitecturas son peor en términos de invariabilidad de la traslación, que los más antiguos. Esto es un riesgo si su conjunto de datos no tiene sesgo del fotógrafo de si no tiene suficiente computación y datos para volver a entrenar la arquitectura en una distribución de imágenes más útil. Véase el excelente preprint:
mclaughlinj
Puntos
1099
DenseNet es un sucesor genérico de ResNet y consigue un error del 3,46% en CIFAR-10 y del 17,18 en C-100. Compárese con el 3,47 y el 24,28 mencionados en la tabla de clasificación.
Shake-shake , Shake-drop y posiblemente otras variantes son técnicas de regularización que se pueden utilizar en cualquier arquitectura tipo ResNet, y consigue un error de 2,86/2,31% en C-10 y 15,85/12,19 en C-100 (shake-shake/shake-drop). Estas técnicas sólo funcionan en arquitecturas multirama, por lo que las menciono aunque no sean estrictamente arquitecturas en sí mismas.
Búsqueda eficiente de arquitecturas neuronales (que utiliza el aprendizaje por refuerzo para buscar arquitecturas) encuentra una red que consigue un error del 2,89% en C-10, utilizando el Recorte técnica de regularización. El rendimiento es del 3,54% sin recorte.
En resumen: Dense Net y posiblemente alguna red producida por ENAS pueden tener un rendimiento ligeramente mejor que ResNet, pero el uso de sofisticadas técnicas de regularización hace que la comparación sea ciertamente difícil.
No conozco ninguna tabla de clasificación que esté realmente actualizada, pero normalmente cualquier documento nuevo que afirme tener un rendimiento bueno o puntero en cualquier tarea tendrá una tabla de resultados bastante completa en la que se comparan con los resultados anteriores, lo que puede ser una buena forma de hacer un seguimiento.
Tomas Lycken
Puntos
23432
Para comprobar el estado de las arquitecturas de redes neuronales (y otros modelos de aprendizaje automático) en varios dominios de aplicación, existe ahora una página llamada paperswithcode .
