La continuidad de la $f$
Como los racionales y los irrationals son densa en $\mathbb R$, y las funciones de $f_1: x \mapsto x$ $f_2: x \mapsto ax(x-1)$ son ambas continuas funciones reales, $f$ es continua en a $x$ si y sólo si
$$x = ax(x-1)$$
Si $a =0$, $0$ es la única solución de esta ecuación.
Y para $a \neq 0$, las soluciones se $0$$a +\frac{1}{a}$.
La diferenciabilidad de $f$
Como un mapa sólo puede ser diferenciable en donde es continua, no nos queda más que estudiar la diferenciabilidad en los puntos de encontrar arriba.
Si $a=0$, tenemos
$$f(x) = \begin{cases}x & x \in \mathbb{Q} \\ 0 & x \not \in \mathbb{Q} \end{cases}$$ and for $ h \neq 0$
$$\frac{f(h)-f(0)}{h-0}= \begin{cases}1 & x \in \mathbb{Q} \\ 0 & x \not \in \mathbb{Q} \end{cases}$$
por lo tanto $\lim\limits_{h \to 0} \frac{f(h)-f(0)}{h-0}$ no puede existir por la unicidad de un límite. En consecuencia, $f$ es diferenciable, por $a=0$.
Y para $a \neq 0$, tenemos $f(0) = 0$$f(a +\frac{1}{a})= a +\frac{1}{a}$.
De acuerdo con un argumento similar a los usados por la continuidad, $f$ es diferenciable en a $0$ si y sólo si$f_1^\prime(0)=f_2^\prime(0)$. Y tenemos $f_1^\prime(0)=1$ , mientras que $f_2^\prime(0)=-a$. $f$ es diferenciable en a $0$ si y sólo si $a=-1$.
La última cosa es el estudio de la diferenciabilidad de la de $f$$a +\frac{1}{a}$. Tenemos $f_1^\prime(a +\frac{1}{a})=1$$f_2^\prime(a +\frac{1}{a})=2a^2-a+2$.Estos dos valores son iguales si y sólo si
$$2a^2-a+1=0$ $ , que no tiene solución real.
Conclusión
Si $a=0$, $f$ sólo es continuo en $0$ y es diferenciable.
Si $a = -1$, $ f$ es continua en a $0$ $-2$ y diferenciable sólo en $0$.
Si $a \notin \{0,-1\}$, $ f$ es continua en a $0$ $a +\frac{1}{a}$ y es diferenciable.