Necesitas al menos una "resistencia limitadora de corriente" por LED y hay que dimensionarlas adecuadamente para la tensión de avance de cada LED.
Cada LED tiene una "tensión directa" particular. En el caso del rojo, suele ser de 1,8V, mientras que el azul/verde puede llegar a los 3,2V. Lo que ocurre es que cuando se añade el LED rojo, éste se convierte en el camino de menor resistencia, debido a la (mucho) menor tensión de avance, y toda la corriente pasa por el LED rojo.
Digamos que tu fuente de alimentación es de 4,5V (3 pilas alcalinas), y que cada LED tiene una capacidad de 20mA de corriente (bastante típico). Si el LED rojo tiene una Vf de 1,8V, tienes que ponerle una resistencia en serie de 135 Ohms. Si el LED azul tiene una Vf de 3,2V, entonces tiene una resistencia en serie de 65 Ohms.
Puedo ponerme a hacer cuentas si quieres (no es tan malo), pero también hay calculadoras en internet: http://led.linear1.org/1led.wiz
Estos pares de LED+resistencia pueden conectarse en paralelo y las luces funcionarán.
editar: Acabo de leer que tu fuente de alimentación es una pequeña pila tipo moneda, estas suelen tener una resistencia interna muy alta, por eso el LED rojo no se está quemando, sino que está absorbiendo toda la corriente. Está actuando como si hubiera una resistencia de alto valor en serie con tus LEDs en paralelo. Cuando pones diodos en paralelo como ese (LED significa diodo emisor de luz), sólo el que tiene el menor voltaje de avance conducirá, así que el rojo gana aquí.