Deja que $x_1, x_2, x_3$ y $x_4$ sean los números de rosquillas glaseadas, de chocolate, de azúcar y simples que elijas. Entonces cada uno de estos números debe ser un entero no negativo, y
$$x_1+x_2+x_3+x_4=5\;.\tag{1}$$
Cada solución de $(1)$ en enteros no negativos te da una elección posible de rosquillas, y cada elección posible de rosquillas te da una solución a $(1)$ en enteros no negativos. Por lo tanto, tu problema se reduce a contar las soluciones de $(1)$ en enteros no negativos. Este tipo de problema a menudo se llama un problema de estrellas y barras; el artículo vinculado te da la respuesta,
$$\binom{5+4-1}{4-1}=\binom83\;,$$
y una explicación bastante decente del razonamiento detrás de esto. Entre lo que he hecho aquí con (a) y lo que encuentres en el artículo, deberías poder hacer un buen intento en (b), pero si te quedas atascado, no dudes en contactarme.