Divertido problema. Hay varios enfoques para tratarlo, comenzando desde lo más básico (trabajar con partes reales e imaginarias) y avanzando hacia algo más avanzado (incluyendo algunos enfoques más geométricos).
Tus preguntas 1 y 2 me parecen bastante similares, y la única respuesta sensata que puedo proporcionar es 'porque trabajar con z y $\bar{z}$ simultáneamente nos permite usar Álgebra Lineal' - sin complicarnos, al menos, lo cual es algo que la solución utilizando partes reales e imaginarias no puede reclamar. Aparte de esto, claramente es un truco (pero de nuevo, ¿qué no lo es?).
Entiendo tu pregunta sobre la condición del determinante funcionando bien en $\mathbb{C}^2$ pero posiblemente siendo excesiva aquí, y es una pregunta válida. Propongo explicar por qué la condición de hecho es tanto suficiente como necesaria utilizando subespacios. Te advierto que esto se reduce exactamente a trabajar con partes reales e imaginarias, aunque después de reformular tu problema en la forma de matriz $2\times2$ que proporcionas. Desde cierto punto de vista, eso es mantener lo peor de ambos mundos: pasar a esa forma es intuitivo y trabajar con partes reales/imaginarias es engorroso. Sin embargo, lo encuentro mucho más intuitivo que cualquier otra solución, por razones que podrían quedar claras una vez que deje de hablar y haga un poco de matemáticas.
Consideremos ahora dos números complejos cualesquiera $z = z_R + {\rm i} z_I$ & $z' = z'_R + {\rm i} z'_I$. Incrusto (z,z') en $\mathbb{R}^4$ escribiendo $(z_R,z_I,z'_R,z'_I)$ para $(z,z') - este es un homomorfismo entre $\mathbb{C}^2$ y $\mathbb{R}^4$. Entonces, el par $(z,\bar{z})$ se convierte en $(z_R,z_I,z_R,-z_I) = z_R(1,0,1,0) + z_I(0,1,0,-1) = z_R {\rm e_1} + z_I {\rm e_i}$, con ${\rm e_{1,i}}$ los vectores obvios en $\mathbb{R}^4$. Por lo tanto, todos los pares posibles $(z,\bar{z})$ constituyen un subespacio de dimensión $2$ $\mathbb{E}$ en $\mathbb{R}^4$, generado por ${\rm e_{1,i}}$.
Escriba, ahora, $T : \mathbb{C}^2 \to \mathbb{C}^2$ para el operador lineal representado por la matriz $\left(\begin{array}{cc}a&b\\\bar{b}&\bar{a}\end{array}\right)$. Entonces, la restricción $\left.T\,\right\vert_\mathbb{E} : \mathbb{E} \to \mathbb{E}$ está bien definida, es decir, el rango de $T$ cae efectivamente dentro de $\mathbb{E}$. De hecho, tenemos (cálculo sencillo)
$$ T {\rm e_1} = (a_R+b_R){\rm e_1} + (a_I+b_I){\rm e_i} , \\ T {\rm e_i} = (b_I-a_I){\rm e_1} + (a_R-b_R){\rm e_i} . $$
Equipando $\mathbb{E}$ con la base ${\rm e_{1,i}}$ y expresando $T$ en esa base, entonces, obtenemos la matriz $2\times2$
$$ \left(\begin{array}{cc} a_R+b_R & b_I-a_I \\ a_I+b_I & a_R-b_R \end{array}\right) , $$
que es precisamente lo que obtendrías si hubieras elegido reformular la ecuación original en términos de partes reales e imaginarias. (La razón es obvia, creo.) Su determinante es, naturalmente, $|a|^2-|b|^2$.
Nota, finalmente, que la ecuación para $(z,\bar{z})$ que reportas tiene un lado derecho que también cae en $\mathbb{E}$ (también por razones intuitivas obvias). Por lo tanto, la ecuación es soluble siempre que $\left.T\,\right\vert_\mathbb{E} : \mathbb{E} \to \mathbb{E}$ sea una biyección, es decir, siempre que el determinante mencionado sea distinto de cero. Y por eso la condición del determinante también es necesaria, no solo suficiente.