Normalmente, si se puede soportar la caída de tensión, se utiliza un diodo desde cada alimentación al circuito. De este modo, las fuentes no se retroalimentarán entre sí.
Si no puedes soportar la caída de voltaje, entonces utilizarías FETs para conmutarlos en el circuito, utilizando un poco de lógica para encender el FET que quieras en función de la combinación de suministros que se conecte.
Pero si te estás iniciando en la electrónica, y no estás seguro del diseño de la fuente de alimentación, entonces opta por los diodos.
Cada diodo tendrá una caída de tensión, una corriente nominal y una potencia de disipación. Dado que estás extrayendo de un puerto USB, tu corriente no va a ser superior a 500mA, y esa corriente con la caída de voltaje es menos de un vatio en disipación de energía, así que mientras elijas diodos de potencia deberías estar bien.
La caída de tensión de un diodo 1N4001 estándar (0,30 dólares cada uno en Digikey ) es de aproximadamente 1 V a 1 A, por lo que la salida de tu circuito sería de 4V. Si quisieras obtener una caída de tensión menor, pasarías a un diodo Schottky, como un 1N5817 que tiene una caída más cercana a los 450mV a 1 A, por lo que la tensión en el lado de salida sería de 4,55V. Ese diodo sólo cuesta unos céntimos más.
Sin embargo, si necesitas exactamente 5 voltios para el circuito, tendrás que buscar otros métodos de conmutación, como los FET. Ten en cuenta, sin embargo, que serán más caros, y casi todas las demás opciones sencillas siguen incluyendo una caída de tensión.
Sin embargo, la mayoría de los dispositivos y circuitos de 5V funcionarán bien a 4,5V, sólo tienes que comprobar sus especificaciones cuidadosamente y hacer algunas pruebas.