Voy a responder a mi propia pregunta y espero que esta información sea útil para alguien. Tomaré $\hbar = 1$ y trataremos sistemas de un grado de libertad (la generalización debería ser obvia). Los factores de normalización son muy confusos, así que omitiré la mayoría de las razones para que sean como son.
En primer lugar, echemos un vistazo a la vieja función continua de Wigner. Hay muchas maneras de definirla. Voy a describir dos.
Función de Wigner como coeficientes en una expansión en términos de operadores de Weyl-Heisenberg
Considere el operador $\hat{T}_{(a,b)} = e^{-i(a\hat{p} - b\hat{q})}$ . Este operador es el generador de traslaciones en posición por $b$ y en impulso por $a$ . Se trata, pues, de un formalismo que pone en el mismo plano las posiciones y los momentos (decimos que se trata de mecánica cuántica en el espacio de fases). Asociado a los operadores de traslación podemos definir otro operador como su transformada de Fourier simpléctica, Es decir , $\hat{R}_{(q,p)} = \frac{1}{2\pi} \int e^{-i(ap - bq)} \hat{T}_{(a,b)}$ . Se puede demostrar que estos operadores forman una representación del grupo de reflexiones y traslaciones en un espacio de fase bidimensional. También podemos demostrar que estos operadores son ortonormales con respecto a la métrica de Hilbert-Schmidt,
$$ Tr \left(\hat{T}^\dagger_{(a,b)} \hat{T}_{(a',b')} \right) = 2 \pi \delta(a' - a) \delta(b'-b) \\ Tr \left(\hat{R}^\dagger_{(q,p)} \hat{R}_{(q',p')} \right) = 2 \pi \delta(q' - q) \delta(p'-p) .$$
Esto significa que podemos expandir cualquier operador que actúe en nuestro espacio de Hilbert en una base de reflexión (o de traslación). En la expansión de la matriz de densidad como una combinación lineal continua de reflexiones,
$$\hat{\rho} = \frac{1}{2\pi} \int W(q,p) \hat{R}_{(q,p)} dq dp ,$$
los coeficientes se definen como la función de Wigner asociada al sistema. Dicha ecuación puede invertirse para darnos explícitamente
$$W(q,p) = Tr(\hat{\rho} \hat{R}) .$$
Función de Wigner a partir de las propiedades de proyección
Digamos que creamos una función a partir de la matriz de densidad
$$W(q,p) = Tr(\hat{\rho} \hat{R}) ,$$
y que deseamos que este operador tenga la siguiente propiedad: la integral de $W$ sobre la franja del espacio de fase delimitada por las líneas paralelas $aq + bp = c_1$ y $aq + bp = c_2$ es la probabilidad de que el operador $a\hat{q} + b\hat{p}$ tomará un valor comprendido entre $c_1$ y $c_2$ . Esto, por sí solo, es suficiente para definir el operador $\hat{R}$ y fijar la forma de la función de Wigner (basta con invertir una transformada de Radon para obtenerla).
Ahora, volvamos al espacio de fase discreta. Después de leer un montón de artículos sobre el tema me he dado cuenta de que lo que hacen es definir la función de Wigner bien como coeficientes, bien siguiendo la propiedad de proyección. Pero, dado que están tratando de definir una distribución de cuasi-probabilidad para un sistema con grados de libertad discretos (sobre todo espín), el "espacio de fase" necesita ser discreto. En realidad, más que discreto, tiene que ser un toroide, porque el sistema sólo tiene un número finito de estados accesibles (al contrario que en el caso continuo, en el que había infinitos estados accesibles). La cuestión aquí es que lo que tienes que hacer es crear operadores de reflexión en este conjunto discreto o asociar un estado propio de algún observable con líneas en el espacio de fase y usarlo como guía para crear un objeto similar a la función de Wigner, para imitar el caso continuo. Sin embargo, estás intentando asociar una red de puntos con estados. Esto es muy diferente del caso continuo, en el que se partía de un espacio de fases en el sentido de la mecánica clásica ( $q$ y $p$ etc.).
Así pues, mi conclusión es la siguiente: los "espacios de fase discretos" que aparecen en la formulación de la función de Wigner de la mecánica cuántica de estados finitos no tienen nada que ver con la mecánica cuántica en el espacio de fases. Estas extrañas funciones de Wigner no únicas no son más que una forma eficiente de realizar tomografías de estados. La cuestión relativa a la posibilidad de discretización del espacio de fases perdió su sentido, y debe ser olvidada. No obstante, seguiré centrándome en el problema de la compactación de las fibras cotangentes.
Ahora, dos puntos de vista eran muy interesantes. El primero trata de la creación real de una estructura de grupo-cuociente en un espacio de fase clásico proyectando la representación de Wigner del plano al toro. Según un resultado fundamental de la teoría espectral de operadores compactos, la compactación del dominio de los elementos del espacio de Banach en el que se define el operador da lugar a la contabilidad de su espectro. Esto significa que la proyección de la función de Wigner desde el plano a cualquier dominio compacto (el toro es el caso más importante) hará que los operadores que actúan en el espacio de Hilbert discreticen sus espectros. Esto significa que, de hecho, podemos encontrar el análogo discreto de la función de Wigner mediante el formalismo del espacio de fases, pero esto sólo tiene sentido cuando estamos midiendo sistemas en los que la posición y el momento son discretos. Los espines y los momentos angulares siguen necesitando las funciones artificiales tipo Wigner comentadas anteriormente. (El artículo que desarrolla esto es Annals of Physics 276, 223-256 (1999)).
El segundo punto de vista realmente interesante se refiere a los problemas relativos a la dimensión de nuestro espacio de estados. Puesto que la dimensión es finita, necesitamos un campo finito para que tengan sentido matemático, por ejemplo, las foliaciones de redes de dimensión finita (si no estuviéramos en un campo, dos líneas no paralelas se cruzarían en más de un punto). Ahora bien, los campos finitos sólo son posibles cuando se considera que el conjunto cociente es $mod p$ donde $p$ es un primo. Para tratar con sistemas cuyos grados de libertad no siguen la condición de primo, los autores leyeron un poco sobre la teoría de Galois y añadieron puntos dentro del espacio de estados sin cambiar la base del grupo modular. Esta fue una de las aplicaciones más bonitas de la teoría de Galois en física aplicada que he visto nunca. (El artículo que trata de esto es Physical Review A 70, 062101 (2004)).
Siento la respuesta tan larga. Espero que sea útil para alguien.