¿Puede alguien explicar qué es un agrupación global de máximos capa y por qué y cuándo la utilizamos para entrenar una red neuronal. ¿Tienen alguna ventaja sobre la capa de agrupación máxima ordinaria?
Respuestas
¿Demasiados anuncios?
Global max pooling = capa ordinaria de max pooling con tamaño de pool igual al tamaño de la entrada (menos el tamaño del filtro + 1, para ser precisos). Puede ver que MaxPooling1D toma un pool_length mientras que GlobalMaxPooling1D no lo hace.
Por ejemplo, si la entrada de la capa de agrupación máxima es $0,1,2,2,5,1,2$ , salidas máximas globales de la agrupación $5$ mientras que la capa de agrupación máxima ordinaria con un tamaño de agrupación igual a 3 salidas $2,2,5,5,5$ (asumiendo stride=1).
Esto se puede ver en el código :
class GlobalMaxPooling1D(_GlobalPooling1D):
"""Global max pooling operation for temporal data.
# Input shape
3D tensor with shape: `(samples, steps, features)`.
# Output shape
2D tensor with shape: `(samples, features)`.
"""
def call(self, x, mask=None):
return K.max(x, axis=1)En algunos ámbitos, como el procesamiento del lenguaje natural, es habitual utilizar la agrupación máxima global. En otros ámbitos, como la visión por ordenador, es habitual utilizar una agrupación de máximos que no es global.
user139737
Puntos
346
Como se describe en este documento que propuso la puesta en común de la media global (GAP):
Las redes neuronales convolucionales convencionales realizan la convolución en las capas inferiores de la red. Para la clasificación, los mapas de características de la última capa convolucional se vectorizan y se introducen en capas totalmente conectadas, seguidas de una capa de regresión logística softmax. Esta estructura tiende un puente entre la estructura convolucional y los clasificadores de redes neuronales tradicionales. Trata las capas convolucionales como extractores de características, y la característica resultante se clasifica de forma tradicional.
Sin embargo, las capas totalmente conectadas son propensas al sobreajuste, lo que dificulta la capacidad de generalización de la red en general. Hinton et al. proponen un regularizador que pone a cero la mitad de las activaciones de las capas totalmente conectadas durante el entrenamiento. Ha mejorado la capacidad de capacidad de generalización y evita en gran medida el sobreajuste.
En este trabajo, proponemos otra estrategia denominada pooling global de promedios para sustituir a las tradicionales capas totalmente conectadas en las CNN. La idea es generar un mapa de características para cada categoría correspondiente de la tarea de clasificación en la última capa mlpconv. En lugar de añadir capas totalmente conectadas sobre los mapas de características, tomamos la media de cada mapa de características, y el vector resultante se introduce directamente en la capa softmax. Una de las ventajas de la agrupación de promedios globales sobre las capas totalmente conectadas es que es más nativa a la estructura de convolución al reforzar las correspondencias entre los mapas de características y las categorías. Así, los mapas de características pueden interpretarse fácilmente como mapas de confianza de las categorías. Otra ventaja es que no hay ningún parámetro que optimizar en el pooling de media global, por lo que se evita el sobreajuste en esta capa. Además, la agrupación de promedios globales suma la información espacial, por lo que es más robusta a las traslaciones espaciales de la entrada. Podemos ver el pooling global como un regularizador estructural que obliga explícitamente a que los mapas de características sean mapas de confianza de conceptos (categorías). Esto es posible gracias a las capas mlpconv, ya que hacen una mejor aproximación a los mapas de confianza que los GLM.
Editar: Como sugiere @MaxLawnboy, aquí hay otro documento sobre el mismo tema .
