Processing math: 100%

4 votos

Importancia de Softmax

Estoy estudiando las redes neuronales y softmax aparece mucho.

Entendí lo que hace el softmax: quita un conjunto de valores reales a una distribución de probabilidad, es decir, el nuevo conjunto puede ser interpretado como una distribución de probabilidad.

Mi pregunta es:

  1. Durante el entrenamiento de las redes neuronales, ¿la temperatura de softmax es también un parámetro entrenable? Es decir, ¿la capa de softmax en las redes neuronales es sólo una función de supresión predefinida o también se entrena?

  2. Seguramente, la gente de machine learning no inventó el softmax ya que recuerdo haber visto este tipo de función en las clases de física también, en algún lugar de la teoría de los gases de Botlzmann probablemente. ¿Cuál es el significado físico de softmax, es decir, la función de exponenciación? ¿Por qué exponer? Una función cuadrada, o cualquier otra función, también puede hacer el trabajo de cuantificación, cuando se normaliza con el denominador. Entonces, ¿por qué exponer? ¿Qué le confiere a la función?

Salud :)

2voto

user121270 Puntos 1059

Veamos las definiciones:

σ(z)j=ezjKk=1ezk

Softmax con temperatura T :

σ(z)j=ezjTKk=1ezkT

En el contexto del aprendizaje automático, softmax se utiliza, como has comentado, para definir distribuciones de probabilidad ( xRD ):

P(y=jx)=exTwjKk=1exTwk

Donde wj son parámetros entrenables.


  1. La temperatura es sólo una constante multiplicativa, por lo que se puede tratar como grado de libertad de wj (si W=(wj)j<M es una matriz de pesos, entonces tiene DM por lo que, de forma equivalente, si se trata de T como parámetro libre WT tendrá DM1 grados de libertad).

  2. No estoy familiarizado con la interpretación física, pero softmax está relacionado con el principio de máxima entropía, ver Un breve tutorial de Maxent

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X