Tienes razón, las transformaciones Bogoliubov son no unitaria en general. Por definición,
Las transformaciones de Bogoliubov son transformaciones lineales de operadores de creación/aniquilación que preservan las relaciones algebraicas entre ellos.
Las relaciones algebraicas son principalmente las relaciones conmutación/anticonmutación que definen los operadores bosónicos/fermiónicos. En ninguna parte de la definición especificamos que la transformación debía ser unitaria. De hecho, la transformación de Bogoliubov (en su forma más genérica) es simpléctico para bosones y ortogonal para fermiones . En ninguno de los dos casos la transformación de Bogoliubov es unitaria. La transformación de Bogoliubov de los bosones corresponde a la transformación canónica lineal de los osciladores en mecánica clásica (porque los bosones son cuantos de osciladores), y sabemos que las transformaciones canónicas lineales son simplécticas debido a la estructura simpléctica del espacio de fases clásico.
Para ser más concretos, ¿cuáles son las restricciones de las transformaciones de Bogoliubov? Consideremos el caso de $n$ modos de una sola partícula de bosones $b_i$ o fermiones $f_i$ (donde $i=1,2,\cdots,n$ etiqueta los estados de una sola partícula, como los estados propios del momento). Tanto $b_i$ y $f_i$ no son operadores hermitianos, lo que no es muy conveniente para un tratamiento general (porque no podemos simplemente tratar $b_i$ y $b_i^\dagger$ como base independiente, ya que siguen estando relacionadas por la transformación partícula-agujero). Por tanto, elegimos reescribir los operadores como las siguientes combinaciones lineales (motivadas por la idea de descomponer un número complejo en dos números reales como $z=x+\mathrm{i}y$ ): $$\begin{split}b_i&=a_i+\mathrm{i}a_{n+i}\\b_i^\dagger&=a_i-\mathrm{i}a_{n+i}\end{split}\qquad \begin{split}f_i&=c_i+\mathrm{i}c_{n+i}\\f_i^\dagger&=c_i-\mathrm{i}c_{n+i}\end{split}$$ donde $a_i=a_i^\dagger$ y $c_i=c_i^\dagger$ (para $i=1,2,\cdots,2n$ ) son operadores hermitianos (análogos a los números reales). Deben heredar las relaciones de conmutación o anticonmutación de los bosones "complejos $b_i$ y fermiones $f_i$ : $$\begin{split}[b_i,b_j^\dagger]=\delta_{ij},[b_i,b_j]=[b_i^\dagger,b_j^\dagger]=0&\Rightarrow[a_i,a_j]=\frac{1}{2}g_{ij}^a \\ \{f_i,f_j^\dagger\}=\delta_{ij}, \{f_i,f_j\}=\{f_i^\dagger,f_j^\dagger\}=0&\Rightarrow\{c_i,c_j\}=\frac{1}{2}g_{ij}^c\end{split}$$ donde $g_{ij}^a$ y $g_{ij}^c$ a veces se denominan métrica cuántica para bosones y fermiones respectivamente. En forma matricial, vienen dadas por $$g^a=\mathrm{i}\left[\begin{matrix}0&\mathbb{1}_{n\times n}\\-\mathbb{1}_{n\times n}&0\end{matrix}\right] \qquad g^c=\left[\begin{matrix}\mathbb{1}_{n\times n}&0\\0&\mathbb{1}_{n\times n}\end{matrix}\right],$$ con $\mathbb{1}_{n\times n}$ siendo el $n\times n$ matriz de identidad. Así que para preservar las relaciones algebraicas entre los operadores de creación/aniquilación es preservan la métrica cuántica . Transformaciones lineales generales de los operadores $a_i$ y $c_i$ adoptar la forma de $$a_i\to \sum_{j}W_{ij}^a a_j\qquad c_i\to \sum_{j}W_{ij}^c c_j,$$ donde los elementos de la matriz de transformación $W_{ij}^a, W_{ij}^c\in\mathbb{R}$ debe ser real, para garantizar que los operadores $a_i$ y $c_i$ siguen siendo hermitianas después de la transformación. Entonces preservar la métrica cuántica es requerir $$W^a g^a W^{a\intercal}= g^a\qquad W^c g^c W^{c\intercal}= g^c.$$ Así pues, cualquier transformación lineal real que satisfaga las condiciones anteriores es una transformación de Bogoliubov en el sentido más general. Entonces, dependiendo de la propiedad de la métrica cuántica, la transformación de Bogoliubov es simpléctica u ortogonal. Para la métrica cuántica bosónica, $g^a=-g^{a\intercal}$ es antisimétrico por lo que la transformación $W^a$ es simpléctico . Para la métrica cuántica fermiónica, $g^c=g^{c\intercal}$ es simétrico por lo que la transformación $W^c$ es ortogonal .