Recorrido suave de

Question

Intento limitar el espacio de las matrices utilizadas para las capas de una red neuronal a las de (). Se demuestra que () es una variedad . Estoy tratando de encontrar una manera de atravesar suavemente este colector.

Tenga en cuenta que esto es un poco diferente que el muestreo () utilizando algo como Graham-Schmidt. La función utilizada para construir una matriz tendría que ser, e idealmente ejecutarse en tiempo lineal en lugar del tiempo cúbico necesario para Graham-Schmidt. El muestreo de () no tendría que ser uniforme.

Creo que leí un post aquí antes que tenía una función para construir dichas matrices, pero no he podido volver a encontrarlo.

Answer 1

Si he entendido bien su pregunta, está buscando una parametrización de $SO(n)$ que luego quizá pueda utilizar también para los procedimientos de optimización. Un método de este tipo ha sido, por ejemplo, discutido aquí . No soy un experto en esto, pero esencialmente podemos utilizar la función exponencial $$\exp(A) := I + A + \frac{A^2}{2} + \dots $$ para traducir un problema de optimización sobre un grupo compacto como $SO(n)$ en un problema sobre el espacio de matrices asimétricas. Estas últimas pueden parametrizarse más fácilmente (para más detalles, véase el artículo).