Caso 1 (en el que $\mathcal{B}$ está formado por matrices 0/1) sólo se conservará mediante matrices de permutación (es decir, se trata del grupo de matrices ortogonales que estabilizan el conjunto $\mathcal{B}$ ). Para demostrarlo, supongamos $Q$ es una matriz ortogonal pero no una matriz de permutación. Eligiendo una matriz adecuada en $\mathcal{B}$ se puede comprobar fácilmente que
- Todas las entradas de $Q$ son 0/1.
- Ninguna fila o columna de $Q$ tiene más de 1 entrada distinta de cero.
Para una matriz determinada $B$ estas matrices enviarán $B$ a otra matriz en $\mathcal{B}$ por supuesto, y posiblemente otras matrices ortogonales también lo harán (al menos si $B= 0$ o si $B=J$ la matriz todo-uno, cualquier matriz ortogonal enviará $B \mapsto B$ ); tendrá que determinarlo de forma ad hoc (aunque podría valer la pena intentar demostrar que las matrices de permutación son las únicas que funcionan bajo supuestos adecuados sobre $B$ ; tal vez asumiendo $B$ tiene rango de fila completo). El conjunto de todas estas matrices no forma necesariamente un grupo.
Para el caso 2 (en el que las entradas de las matrices en $\mathcal{B}$ están en $\{0,\pm1\}$ creo que será fácil demostrar que el grupo de matrices que estabiliza el conjunto $\mathcal{B}$ consistirá en matrices de permutación en las que se permite que todas las entradas sean $\pm1$ modificando la parte 1 de las observaciones anteriores (aquí a matrices medias $Q = \mathrm{diag}(\pm1, \ldots, \pm1)P$ donde $P$ es una matriz de permutación).
Edita: Esto puede ser mucho más complicado si quieres encontrar todos los pares $(Q_{1}, Q_{2})$ con $Q_{1} \neq Q_{2}$ . O tal vez no, no lo he intentado.
