¿A qué se refiere exactamente el término "activaciones" en las redes neuronales?

Question

Hace referencia a la entrada o a la salida de la función de activación?

La literatura parece ser inconsistente. Un par de ejemplos:

Activaciones = Input de la función de activación de la

• Aprendizaje profundo Libro, Goodfellow et al., Páginas 208, 209

  $a^{(k)} = b^{(k)} + W^{(k)}h^{(k-1)}$ [...] las activaciones $a^{(k)}$

• Lote de Normalización: la Aceleración de Profundo Entrenamiento de la Red mediante la Reducción Interna de la Covariable Cambio, Ioffe et al.

  Queremos una preservar la información en la red, por la normalización de las activaciones [...] tenga en cuenta que, desde que normalizar Wu+b, el sesgo b puede ser ignorado ...

• http://cs231n.github.io/neural-networks-1/ (describir ReLU)

  esta es una opción común y simplemente los umbrales de todas las activaciones que están por debajo de los cero a cero

Activaciones = Salida de la función de activación de la

• Binarized Redes Neuronales: el Entrenamiento de Redes Neuronales con los Pesos y Activaciones Limitada a +1 o -1, Courbariaux et al habla de pre-activaciones y activaciones

• http://cs231n.github.io/neural-networks-1/

  h1 = f(np.dot(W1, x) + b1) # calculate first hidden layer activations

  h2 = f(np.dot(W2, h1) + b2) # calculate second hidden layer activations

Answer 1

Es la salida de la función de activación.

Creo que los contra ejemplos que citan son sólo omitir la función de la brevedad, o porque no importa en contexto, o las personas son simplemente incompatibles y eso está bien.