$f$ es una biyección de $\Bbb R \setminus \{-2\}$ a $\Bbb R \setminus \{1\}$ .
Estrictamente hablando, no puede tener una raíz cuadrada funcional : Si $f = g \circ g$ entonces $g(g(-5/3)) = f(-5/3) = -2$ . Si $g(-5/3) = -2$ entonces $g(-2)=-2$ y obtenemos que $g\circ g$ se define en $-2$ cuando no debería. Así que $g(-5/3) \neq -2$ y $f$ se define en $g(-5/3)$ : $f(g(-5/3)) = g(-2)$ . De nuevo, si $f(g(-5/3)) = -2$ entonces $g(-2) = -2$ Así que $f$ se define en $f(g(-5/3))$ y así $g$ debe definirse en $g(-2)$ . En cualquier caso, $g(g(-2))$ existe cuando no debería.
Para hacer la pregunta interesante, tapamos el agujero y consideramos $f$ como una biyección de $X = \Bbb R \cup \{\infty \}$ a sí mismo. $f$ tiene dos puntos fijos $0 < x_1 < x_2$ cualquier iteración de $f$ sigue siendo una homografía por lo que sigue teniendo sólo esos dos mismos puntos fijos. Esto significa que se puede dividir $X' = X \setminus \{x_1,x_2\}$ en secuencias de la forma $\{f^k(x), k \in \Bbb Z\}$
Si no necesita $g$ para ser continua, hay muchas maneras de definir una raíz cuadrada funcional. Dado un punto cualquiera $x \in X'$ puede elegir $g(x)$ para ser cualquier punto $y \in X'$ siempre y cuando $y \notin \{f^k(x), k \in \Bbb Z\}$ . Esta elección determinará $g$ en todos los $f^k(x)$ y $f^k(y)$ para $k \in \Bbb Z$ . Repita esta operación hasta que haya definido $g$ en todos los $X'$ . Por último, defina $g(x_i)= x_i$ o $g(x_i) = x_{3-i}$ .
Si quieres $g$ para ser continua, hay dos casos a considerar. $X'$ tiene dos componentes conectados, $(x_1;x_2)$ y $(x_2; \infty) \cup \{\infty\}\cup\{- \infty ; x_1\}$ que debería llamarse simplemente $(x_2 ; x_1)$ . Estos dos componentes son estables por $f$ . Es útil poner un orden en esos componentes tal que $f$ está aumentando. En el primer componente es el orden estándar, pero en el otro, tenemos $y < \infty < z$ si $y > x_2$ y $z < x_1$ .
Si $g$ conmuta los componentes conectados $(x_1;x_2)$ y $(x_2 ; x_1)$ de $X'$ , $g$ estará determinada por su imagen en un intervalo de la forma $[x ; f(x))$ donde $x \in X'$ : tiene que enviar $x$ a algunos $y$ (en el otro componente), envía $f(x)$ a $f(y)$ y en el medio, $g$ puede ser cualquier función continua estrictamente creciente (para los órdenes definidos anteriormente).
Si $g$ no los cambia, tenemos que definir $g$ por separado en cada componente. Para ello, elija un $x \in X'$ , elija algunos $g(x) \in (x ; f(x))$ . Entonces debemos tener $g(g(x)) = f(x)$ y podemos elegir cualquier función continua estrictamente creciente sobre $[x ; g(x)]$ . Esto determina $g$ completamente en el componente de $x$ . haz lo mismo en el otro componente y ya está.
En ambos casos, para $g$ para ser continua, debemos tener $g(x_i) = x_i$ si $x_i$ es uno de los dos puntos fijos.
Además, esas construcciones pueden dar raíces cuadradas funcionales que son suaves en $X'$ (no estoy seguro de lo que ocurre en los puntos de ficción) y todavía no son una de las dos homografías que has encontrado.