cuando el Vo>12, lo que significa que el voltaje a través del Rb está por encima de 2.5V, la corriente a través del TL431 se vuelve pequeña y el voltaje Vcomp se vuelve grande.
No, eso es incorrecto. Cuando Vo sube por encima de su punto de ajuste nominal, entonces el voltaje a través de Rb también aumenta y esto hace que el TL431 se encienda y conduzca corriente a través del LED en el optoacoplador.
Esto hace que el fototransistor se encienda y baje Vcomp. Esto naturalmente causaría que el ciclo de trabajo del PWM disminuya y restaure Vo a 12 voltios. Es un bucle de control que se autorregula dependiendo de la relación de resistencia de Ra y Rb produciendo 2.5 voltios en el pin de entrada del TL431.
Cómo diseñar el valor de Rc3 en el peor de los casos
Elige Rc de manera que si el TL431 está completamente encendido (es decir, tiene 0 voltios a través de él), la corriente en el LED esté limitada a un valor que no dañe el LED.
En circunstancias normales de funcionamiento, es difícil que el voltaje del cátodo al ánodo del TL431 sea mucho menor que unos pocos voltios, pero, para elegir Rc deberías asumir que el voltaje del TL431 podría ser 0 voltios (después de todo, puede tener un capacitor a través de él en algunos escenarios de retroalimentación, así que, por el bien de unos pocos voltios, deberías asumir el peor caso es cero voltios para que Rc sea elegido de manera que NO entregue demasiada corriente al LED del opto).
Cómo sé el voltaje de salida del TL431.
No necesitas saberlo, será un voltaje que provoque la cantidad adecuada de corriente a través del LED para mantener el ciclo de trabajo en el valor correcto para mantener el voltaje de salida en el punto de ajuste requerido.
Cómo puede el TL431 hacer la retroalimentación negativa.
La retroalimentación negativa proviene de Ra y Rb. Luego a través del TL431 (que actúa como un comparador de voltaje). Luego a través del opto y, en el pin de control PWM del chip que lleva el MOSFET (no mostrado en tu diagrama). Ese chip controla el PWM.
Todos esos componentes son eslabones en la misma cadena. Esa cadena hace retroalimentación negativa.