A mi entender, un sistema de coordenadas polares se suele utilizar para describir puntos en el plano. Parece que buscas algo que describa puntos en la esfera (unitaria). Así que supongo que te estás refiriendo a un sistema de coordenadas geográficas .
El sistema de coordenadas geográficas tiene una estructura mayoritariamente rectangular: tiene latitudes de $-\frac\pi2$ a $\frac\pi2$ y para cada latitud tiene longitudes de $-\pi$ a $\pi$ . Puedes conseguir que tu cuadrado tenga esta forma utilizando
$$\begin{pmatrix}a\\b\end{pmatrix}\mapsto \begin{pmatrix}\frac{a}{1-\lvert b\rvert}\pi\\ b\frac\pi2\end{pmatrix}$$
Sin embargo, hay un pequeño problema: En los polos, la longitud no está definida. Por tanto, hay muchas coordenadas diferentes que representan el mismo punto. En la fórmula anterior, esta indefinición se manifiesta como una división por cero. Se podría hacer una distinción de casos y definir que en aquellos casos en los que haya que dividir por cero, simplemente se asuma que la latitud es cero, ya que realmente no importa.
También tiene un solapamiento en el $\pm\pi$ meridiano, donde las dos aristas de tu triángulo de entrada representan los mismos puntos de la esfera. Si esto importa, tendrías que eliminar dos aristas de tu cuadrado de entrada, excepto las esquinas correspondientes a los polos.
En general, dudo que nada de lo anterior sea especialmente útil para las aplicaciones prácticas, ya que la transformación definida de este modo probablemente no cumpla ninguno de los requisitos que se esperan de una proyección. Excepto, quizás, que sea sencilla de calcular.
