Esta función se conoce como función de Thomae y es un excelente ejemplo de una función que es continua en un número incontablemente infinito de puntos mientras que es discontinua en un número contablemente infinito de puntos. Nótese que el resultado inverso no es posible, es decir, no se puede tener una función que sea discontinua en un conjunto denso incontablemente infinito y continua en un conjunto denso contablemente infinito.
En cuanto a la prueba, la parte de la discontinuidad se desprende del hecho de que los irracionales son densos en R como bien has pensado. La parte de la continuidad es un poco más complicada y ayudaría emplear el principio de Arquímedes junto con el \epsilon - \delta definición.
Crudamente, mira x=\sqrt3 , ver que utilizando la expansión decimal no terminada, es decir \sqrt 3=1.732148\ldots se puede forjar una secuencia de racionales \ \ 1 , 17/10 ,173/100 ,\ldots \ que converge a x mientras que al mismo tiempo su f(x_n) es \ \ 1/10,1/100,1/1000,\ldots \ que converge a 0 que no es más que f(x) . Esto es simplemente una ilustración de la continuidad y no una prueba rigurosa.