¿Puede una RNA simple ser generativa?

Question

Si se entrena una RNA simple para predecir el siguiente paso en una secuencia, como una serie temporal univariante, ¿puede considerarse un modelo generativo?

Answer 1

Una forma natural de especificar un modelo generativo para secuencias es $$P(x_{1\ldots t}) = \prod_{i=1}^t P(x_i | \{x_j \text{ for } 0<j<i\})$$

Así que tenemos que especificar un $P(x_i | \{x_j \text{ for } 0<j<i\})$ . Una opción razonable podría ser algo así como $P(x_i | \{x_j \text{ for } 0<j<i\}) = \mathcal{N}(\mu=f(x_{i-n}, \ldots, x_{i-1}; \theta), \sigma^2=1)$ donde $f$ es su NN y $\theta$ son sus parámetros. Todavía hay algunos detalles que resolver aquí, como lo que sucede si $i < n$ ? (¿Tal vez imputar los valores perdidos con 0?). Es $\sigma^2=1$ ¿una opción razonable? Si se ha utilizado la pérdida L1, ¿hay que utilizar una distribución de Laplace en lugar de la normal?

De todos modos, la cuestión es que una NN en sí misma no es un modelo generativo, es sólo una parte del modelo. En casos sencillos, como la clasificación binaria, puede ser "obvio" cuál es el modelo, pero a menudo es un poco más complicado y hay que tener en cuenta algunos detalles importantes.