¿Por qué se engañan fácilmente las redes neuronales?

Question

He leído algunos artículos sobre la creación manual de imágenes para "engañar" a una red neuronal (véase más abajo).

¿Esto se debe a que las redes sólo modelan la probabilidad condicional $p(y|x)$ ?
Si una red puede modelar la probabilidad conjunta $p(y,x)$ ¿se seguirán dando estos casos?

Mi opinión es que estas imágenes generadas artificialmente son diferentes de los datos de entrenamiento, por lo que son de baja probabilidad $p(x)$ . Por lo tanto, $p(y,x)$ debe ser baja aunque $p(y|x)$ puede ser alta para este tipo de imágenes.

Actualización

He probado algunos modelos generativos, pero no han servido de nada, así que supongo que probablemente sea una consecuencia del MLE.

Me refiero a que en el caso de que se utilice la divergencia KL como función de pérdida, el valor de $p_{\theta}(x)$ donde $p_{data}(x)$ es pequeño no afecta a la pérdida. Así que para una imagen artificiosa que no coincide $p_{data}$ El valor de $p_{\theta}$ puede ser arbitraria.

Actualización

Encontré un blog de Andrej Karpathy que muestra

Estos resultados no son específicos de las imágenes, ConvNets, y tampoco son un "defecto" del Deep Learning.

EXPLICAR Y APROVECHAR LOS EJEMPLOS ADVERSOS

Las redes neuronales profundas se engañan fácilmente: predicciones de alta confianza para imágenes irreconocibles

Answer 1

El tipo de modelos a los que se refiere se denominan modelos "generativos", en contraposición a los discriminatorios, y no se adaptan realmente a los datos de alta dimensión. Parte del éxito de las NN en tareas lingüísticas es el paso de un modelo generativo (HMM) a un modelo "más" discriminatorio (por ejemplo, el MEMM utiliza la regresión logística, que permite utilizar eficazmente los datos contextuales). https://en.wikipedia.org/wiki/Hidden_Markov_model#Extensions )

Yo diría que la razón por la que se engañan es un problema más general. Se trata del predominio actual de la IA basada en ML "superficial" sobre los métodos más sofisticados. [en muchos de los artículos se menciona que otros modelos de ML también son fácilmente engañados - http://www.kdnuggets.com/2015/07/deep-learning-adversarial-examples-misconceptions.html - Ian Goodfellow]

el "modelo lingüístico" más eficaz para muchas tareas es la "bolsa de palabras". Nadie pretende que esto represente un modelo significativo del lenguaje humano. No es difícil imaginar que este tipo de modelos también son fáciles de engañar.

Tareas similares de visión por ordenador, como el reconocimiento de objetos, fueron revolucionadas por la "bolsa visual de palabras", que hizo desaparecer los métodos más intensivos desde el punto de vista informático (que no podían aplicarse a conjuntos de datos masivos).

La CNN es, en mi opinión, una mejor "bolsa visual de palabras": como muestras en tus imágenes, los errores se cometen a nivel de píxel/características de bajo nivel; a pesar de toda la hipérbole, no hay representación de alto nivel en las capas ocultas (todo el mundo comete errores, la cuestión es que una persona cometería "errores" debido a las características de alto nivel y, por ejemplo, reconocería un dibujo animado de un gato, cosa que no creo que haga una NN).

Un ejemplo de un modelo más sofisticado de visión por ordenador (que funciona peor que la NN) es, por ejemplo, el modelo de "piezas deformables".

Answer 2

Que yo sepa, la mayoría de las redes neuronales no utilizan una distribución de probabilidad a priori sobre las imágenes de entrada. Sin embargo, se podría interpretar la selección del conjunto de entrenamiento como una distribución de probabilidad de este tipo. Desde ese punto de vista, es poco probable que estas imágenes generadas artificialmente sean elegidas como imágenes en el conjunto de prueba. Una forma de medir la "probabilidad conjunta" sería generar imágenes al azar y luego etiquetarlas. El problema sería que la inmensa mayoría no tendría etiqueta. Así que conseguir un número razonable de ejemplos etiquetados llevaría demasiado tiempo.