salida de la red neuronal heterogénea

Question

Mi red neuronal (en realidad es una CNN) debe emitir el coeficiente de la matriz de transformación debería emitir tx y ty para la traslación que se encuentra en el rango de [0,200], 2 coeficientes para la cizalla [0,7, 1,5] y un ángulo [-30 60] grados Y otros 10 coeficientes/pesos para realizar la combinación lineal de conjuntos de vectores predefinidos para encontrar primero las coordenadas de los píxeles en ese espacio y luego aplicar la matriz de transformación recogida. Esas coordenadas finales se compararán con las etiquetas y el modelo se optimizará en base a ese criterio de comparación como se puede notar la salida tiene diferentes rangos y naturaleza (ángulos, sin unidades, y píxeles)

¿Hay alguna manera de empujar los coeficientes de salida del modelo en los rangos deseados?

Answer 1

Las restricciones duras se suelen imponer mediante una no linealidad como la $\text{tanh}$ que aplasta el dominio $(-\infty, \infty)$ a $(-1,1)$ . Se puede escalar esto para hacer cumplir cualquier intervalo de salida deseado.

También hay limitaciones que son suave . Por ejemplo, si estoy denotando una imagen, sé que cada píxel tiene un valor entre 0 y 1. Sin embargo, la pérdida (L1/L2) no se dispara ni se vuelve indiferenciable fuera de ese intervalo: nada va terriblemente mal si el modelo predice un valor fuera de ese intervalo. En estos casos, también es posible mantener la capa de salida perfectamente lineal, y simplemente recortar la salida al rango deseado en el momento de la prueba.

Además, como nota al margen, normalmente es deseable normalizar las salidas / el rango de salida deseado para estar en el intervalo de la unidad, o cualquier otro rango razonable. Esto ayuda a evitar cualquier patología de optimización o rareza.

Answer 2

Después de pensar en cómo se puede imponer un parámetro de salida para estar en un rango específico. podemos considerar esto como un problema de regularización. mi sugerencia es que cuando se quiere que una salida x esté en [a, b] podemos añadir un término a la función de pérdida lambda*(max(x-b,0)+min(a-x,0)). lambda debería expresar la importancia de x en el conjunto de salidas X