¿Cómo elegimos la dimensión de $h_0$ y pesos en GRU?

Question

Como ejemplo, en la imagen anterior se muestra una GRU sencilla. Las ecuaciones de actualización son:

\begin{aligned}z_{t}&=\sigma _{g}(W_{z}x_{t}+U_{z}h_{t-1}+b_{z})\\r_{t}&=\sigma _{g}(W_{r}x_{t}+U_{r}h_{t-1}+b_{r})\\{\hat {h}}_{t}&=\phi _{h}(W_{h}x_{t}+U_{h}(r_{t}\odot h_{t-1})+b_{h})\\h_{t}&=(1-z_{t})\odot h_{t-1}+z_{t}\odot {\hat {h}}_{t}\end{aligned}

• Pregunta 1: ¿Cómo se elige la dimensión de $h_0$ ?

• Pregunta 2: ¿Es el producto de $W_z x_t$ un vector (de dimensión n) o un escalar (1 dimensión). Porque estamos tomando la función logística de este producto, así que me pregunto si esta operación se realiza por elementos en el caso $W_z x_t$ es un vector. Además, ¿significa esto que el $1-z_t$ es una resta de vectores, por ejemplo, $1$ es el vector de unos.

• Pregunta 3: ¿Cómo se elige la dimensión de $W_z, U_z$ (y $W_r, U_r$ etc.) al inicializarlos?

Answer 1

P1: Es un hiperparámetro, así que no hay una respuesta única. Los valores a probar dependen de tu problema, y de trabajos previos en la literatura. Si no hay ninguno, estarás adivinando, o guiando tu red hacia una dimensión de incrustación.

Q2: $W_zx_t$ es un vector del mismo tamaño que $h_t$ la dimensión de incrustación. Por lo tanto, la operación sigmoide es elemental y $1-z_t$ es también una sustracción vectorial, donde $1$ es el vector de unos del mismo tamaño que $h_t$ .

P3: Después de elegir la dimensión del estado oculto (incrustación), todas las dimensiones de la matriz ya están determinadas porque ya se conoce la dimensión de $x_t$ . Por ejemplo, $W_zx_t$ es una multiplicación de matrices, y el número de columnas de $W_z$ debe ser igual a la dimensión de $x_t$ . Además, el número de filas de $W_z$ debe ser igual a la dimensión de $z_t$ y, por tanto $h_t$ la dimensión de incrustación. Una lógica similar se aplica a todas las matrices.