Su intuición es correcta: Cuando se tiene un conjunto nulo para la media que es denso con respecto al espacio total, no se podrán diferenciar los conjuntos nulos y alternativos con datos continuos. Esto se debe a que, para cualquier valor de la media en la hipótesis alternativa, siempre podemos obtener uno que esté "arbitrariamente cerca" en el conjunto nulo. Por lo tanto, nunca debería haber ninguna prueba para la hipótesis alternativa.
Para obtener una demostración formal de este resultado, hay que construirlo como una prueba de hipótesis compuesta. Esto es un poco complicado, ya que hay que argumentar a favor de algún estadístico de prueba, y aquí hay algunas objeciones plausibles.
Construcción formal de la prueba de hipótesis clásica: Para esta prueba las hipótesis son:
$$\begin{equation} \begin{aligned} H_0 &: \mu \in \mathbb{Q}, \\[4pt] H_A &: \mu \notin \mathbb{Q}. \end{aligned} \end{equation}$$
El primer problema que se plantea es la construcción de una estadística de prueba. El estadística de ratio de probabilidad (LR) para este problema es siempre igual a uno, ya que los racionales son densos en los reales. Tenemos:
$$\sup_{\mu \in \mathbb{Q}} \sup_{\sigma >0} \prod_{i=1}^n \text{N}(x_i | \mu, \sigma^2) = \Big( \frac{n}{2 \pi \sum x_i^2} \Big)^{n/2} \exp \Big( - \frac{n}{2} \Big) = \sup_{\mu \notin \mathbb{Q}} \sup_{\sigma >0} \prod_{i=1}^n \text{N}(x_i | \mu, \sigma^2),$$
para que el cociente de estos supremos sea la unidad. Esto significa que el estadístico LR estándar no sirve como medida de la evidencia de las hipótesis, por lo que necesitamos un estadístico de prueba personalizado.
Ahora bien, para estas hipótesis, la clasificación ordinal de las pruebas se divide en sólo dos categorías: si la media de la muestra es racional (lo que ocurre con probabilidad cero), es una prueba mayor para la hipótesis nula; si la media de la muestra es irracional (lo que ocurre con probabilidad uno), es una prueba mayor para la hipótesis alternativa. Por lo tanto, el estadístico de prueba apropiado para la prueba es $T \equiv T(X_1, ..., X_n) \equiv \mathbb{I}(\bar{X} \notin \mathbb{Q})$ Los valores más altos de este estadístico de prueba (indicador) constituyen una mayor evidencia para la alternativa.
Desde $\bar{X} \sim \text{N}(\mu, \sigma^2 /n)$ es continua, tenemos $\mathbb{P}(T = 0 | \mu, \sigma) = \mathbb{P}(\bar{X} \in \mathbb{Q} | \mu, \sigma) = 0$ sobre todos los valores de los parámetros (esto se deduce del hecho de que los racionales tienen medida de Lebesgue cero ). Esto significa que la estadística de la prueba tiene la misma distribución independientemente de los valores de los parámetros.
Si observamos $\bar{x} \notin \mathbb{Q}$ (es decir, la media de la muestra es irracional) entonces el valor p de la prueba es:
$$p \equiv \mathbb{P}(T(\bar{X}) \geqslant t(\bar{x}) | H_0) = \mathbb{P}(T \geqslant 1 | \mu \in \mathbb{Q}) = 1.$$
Si observamos $\bar{x} \in \mathbb{Q}$ (es decir, la media de la muestra es racional) entonces el valor p para la prueba es:
$$\begin{equation} \begin{aligned} p \equiv \mathbb{P}(T(\bar{X}) \geqslant t(\bar{x}) | H_0) &= \mathbb{P}(T \geqslant 0 | \mu \in \mathbb{Q}) = 1. \end{aligned} \end{equation}$$
Así, vemos que incluso con un estadístico de prueba personalizado que intenta diferenciar las hipótesis, nunca obtenemos ninguna prueba contra la nula. Esto es intuitivamente razonable, ya que para cualquier valor medio en la hipótesis alternativa, siempre podemos obtener uno que esté "arbitrariamente cerca" en el conjunto nulo.
