¿Existe algún documento que explique de forma metódica cómo elegir las dimensiones de los filtros, agrupar las unidades y determinar el número de capas convolucionales?
Respuestas
¿Demasiados anuncios?
Hasta cierto punto sí, los investigadores de Google han publicado recientemente un artículo sobre cómo elegir buenas arquitecturas Inception. Las redes Inception alcanzan un rendimiento muy alto con un presupuesto de parámetros limitado, así que es un buen punto de partida, y es reciente. Aquí tienes el enlace: Replanteamiento de la arquitectura de inicio para visión por ordenador .
No ofrecen reglas cuantitativas estrictas, sino directrices que han utilizado y que creen que les han ayudado a obtener buenos resultados en los últimos concursos de ImageNet.
Por ejemplo, algunos de los principios que discuten son:
-
Utilizar pilas de capas convolucionales de campo receptivo más pequeñas en lugar de utilizar una sola capa convolucional de campo receptivo grande, es decir, 2 pilas de capas convolucionales de 3x3 frente a una sola capa convolucional de 7x7. Esta idea no es nueva, también se discutió en El retorno del diablo en los detalles: Profundizando en las redes convolucionales por el equipo Oxford VGG. Esto está motivado por la necesidad de ser eficientes con los parámetros. También tiene el doble efecto de una mayor capacidad de representación, ya que introducimos más no linealidad con más capas.
-
Algo que no he visto en la literatura que menciona este artículo es la factorización de capas convolucionales en capas profundas. Así que en lugar de tener una sola capa conv 7x7, tendríamos una capa conv 1x7 y luego una capa conv 7x1. Añade más profundidad, creo que también parámetro eficiente también.
-
Equilibra la profundidad y la anchura de tu red. Utiliza representaciones de gran dimensión. Este es uno de los principios en los que se basan sus módulos Inception, que concatenan múltiples capas convolucionales. Por tanto, aunque tu red convolucional tenga un tamaño espacial pequeño, con los módulos Inception podemos utilizar una representación de alta dimensión a través de la concatenación convolucional multiescala: 1x1, 3x3, 3x3-3x3, max pool todo junto. Estos módulos de Inception tienen "anchura", ya que pueden interpretarse como la realización de múltiples operaciones en paralelo. Van incluso más allá con nuevos módulos de Inception que tienen tamaños convolucionales factorizados, 1x3, 3x1, etc.
-
Utilice capas conv 1x1 (Red en estilo Red) para reducir la dimensionalidad. Utilizan muchas técnicas de reducción de la dimensionalidad para lograr la eficiencia de los parámetros. Creen que esto es eficaz porque los mapas de características adyacentes tienen salidas altamente correlacionadas. Lo cual tiene sentido ya que se sabe que las imágenes naturales exhiben algunas propiedades estadísticas locales consistentes con esto. Así que reducir la dimensionalidad mediante capas NIN 1x1 no tiene un efecto desastroso en la capacidad de representación.
Hay más información en el artículo. Creo que es un artículo que puede ofrecer algunas ideas sobre lo que estás preguntando. Están hablando de algunos conceptos muy básicos de conv net diseño arquitectónico.
Cnote
Puntos
6
No he encontrado bibliografía sobre la elección de estos hiperparámetros en función de las especificaciones del problema. Sin embargo, tengo entendido que la mayoría adopta métodos de optimización bayesiana para determinar los valores efectivos. Se especifica un rango razonable y, probando varias combinaciones, se aprende un modelo de cómo esos hiperparámetros se relacionan con la precisión del modelo. A mí me ha funcionado bien. Echa un vistazo a "Practical Bayesian Optimization of Machine Learning Algorithms" de Snoek, Larochelle y Adams ( http://papers.nips.cc/paper/4522-practical-bayesian-optimization-of-machine-learning-algorithms.pdf ).
