Reglas de actualización multiplicativa para NMF

Question

Estoy estudiando el artículo llamado Algorithms for Non-negative Matrix Factorization que introdujo las reglas de actualización multiplicativa. En el lema 2 de la página 5, se introduce una función auxiliar $G(h, h^t)$. Tengo algunas preguntas sobre la función y su demostración.

(1) Primero, ¿qué es $\delta_{ab}$, es una operación elemento por elemento o simplemente una constante?

(2) En la demostración del lema 2, ¿cómo se transforma la línea 19 en la línea 20? Específicamente, intenté sustituir $M_{ab}(h^t)$ en la línea 19 pero solo pude igualar la segunda parte de la línea 20 (que es $v_ah^t_a(W^tW)_{ab}h^t_bv_b$. No entendí de dónde viene la primera parte, $h^t_a(W^tW)_{ab}h^t_bv_a^2$.

(3) Después de eso, ¿cómo se transforma de la línea 20 a la línea 21?

Agradecería cualquier ayuda sobre esto.

Gracias de antemano.

Answer 1

1. $\delta_{ab}$ es el símbolo delta de Kronecker que es uno cuando $a=b$ y cero en caso contrario. (Por lo tanto, $K$ es una matriz diagonal, como dicen).

2. La primera parte proviene de sustituir la forma para $K$ y hacer la suma sobre uno de los índices dando $$ \sum_{ab}v_a h_a h_b\delta_{ab}(W^TWh)_a/h_a = \sum_a v_a^2 h_a (W^TWh)_a$$ Luego puedes expandir la multiplicación de matrices $(W^TWh)_a$ como una suma $\sum_b(W^TW)_{ab}h_b$ para obtener $$ \sum_{ab}v_a^2 h_a(W^TW)_{ab} h_b$$

3. El segundo término que calculaste está representado por el término $-v_av_b$ entre paréntesis. El primer término, como lo expresamos anteriormente, correspondería a un $v_a^2.$ La razón por la cual podemos reemplazar esto por $\frac{1}{2}(v_a^2+v_b^2)$ es porque $h_a (W^T W)_{ab}h_b$ es simétrico bajo el intercambio de $a$ y $b.$ Por lo tanto, podemos pensar en escribir simplemente $v_a^2 = \frac{1}{2}(v_a^2+v_a^2)$ y luego reetiquetar, intercambiando $a$ y $b$ en uno de los términos.