Desconectas los terminales fuente de Q3/Q4 de tierra con Q5 por lo que se descontrolan. Sin una conexión entre el terminal de fuente de Q3/Q4 y tierra, están esencialmente fuera de control porque la salida de dirección de tu opto está referenciada a tierra pero no existe ningún bucle de corriente entre tus optos y Q3/4 Vgs. La única razón por la que permanecen conduciendo es que Q3/Q4 han almacenado carga en su capacitancia puerta-fuente por lo que pueden permanecer encendidos cuando Q5 deja de conducir. Usted está por inercia a través de él (no se puede cambiar el estado de conducción de Q3 o Q4, mientras que Q5 no está conduciendo), pero no se dan cuenta debido a la forma en que se utiliza el circuito.
Lo que sí se nota es el efecto en Q1/Q2. Q1/Q2 tienen una resistencia de pull-up que drena su capacitancia puerta-fuente cuando Q5 deja de conducir. Cuando Q5 deja de conducir, la ruta de corriente que mantiene cargada la Vgs de Q1/Q2 contra la resistencia de pull-up que descarga Vgs desaparece. Q1/Q2 están básicamente intentando apagarse cada vez que abres Q5 y luego necesitan volver a encenderse y parece que tienen problemas para hacerlo.
ACTUALIZACIÓN:
Correcto. El circuito actualizado que describí se parece a tu esquema actualizado.
Si eliges un NMOS para el nuevo Q5, necesitarás un accionamiento de puerta de lado alto flotante.
Si elige PMOS, las cosas pueden ser más sencillas. Recuerda que la tensión entre la puerta y la fuente es lo único que le importa al MOSFET. La fuente PMOS se fija a +V por lo que para lograr el Vgs adecuada para controlar el PMOS, la puerta tiene que ser impulsado entre +V y +V-Vgate, donde Vgate es el voltaje para alcanzar la RDson nominal en la hoja de datos, no Vgth. Vgth apenas consigue que el PMOS conduzca, lo que es inútil cuando se utiliza como un interruptor.
La forma más sencilla de hacer esto es simplemente tirar de la puerta PMOS todo el camino a GND, pero si su +V es lo suficientemente alta, entonces su Vgs máxima en el PMOS se superará. Si este es el caso, entonces usted necesita incluir cosas como diodos zener para limitar qué tan por debajo de +V el PMOS Vg se puede tirar hacia tierra.
Dado que se trata de un accionamiento de puerta que se PWM, que se enciende y apaga y de alta frecuencia por lo que necesita para tener en cuenta la rapidez con la puerta de la capacitancia de la fuente puede ser cargado y descargado. Así que cosas como las resistencias de puerta pull-up de 2.5K que usaste en otro lugar no serán óptimas; Tendrán una constante de tiempo RC con la capacitancia de puerta que podría ser demasiado lenta para tu frecuencia PWM.
Podrías considerar sustituir las resistencias pull-up por transistores pull. Así que en lugar de una resistencia pull-up y pull-down NMOS, usted tiene un pull-up PMOS y un pull-down NMOS que son conducidos juntos por un tótem.
En este caso, el paso de corriente puede seguir siendo un problema, pero como las corrientes son menores, se pueden utilizar resistencias para limitar el paso de corriente y tolerar las pérdidas. Usted no quiere una tonelada de complejidad en el gate-drive porque entonces usted comienza a conseguir los circuitos que son fractales uno del otro.
Otro enfoque que a veces funciona es voltear el PMOS y NMOS en el circuito de accionamiento de puerta para que el PMOS está en la parte inferior y un NMOS en la parte superior que actúa más como un amplificador push-pull por lo que no puede disparar a través, pero también no es tan eficiente como un interruptor. Pero esto suele ser tolerable si las corrientes de accionamiento de puerta son bajas.
SEGUNDA ACTUALIZACIÓN:
Vaya. Culpa mía. Con un Q5 de lado alto, el PMOS Vgs todavía se descarga cuando Q5 no está conduciendo porque Q5 tiene un diodo de cuerpo parásito antiparalelo. Eso proporciona un camino para Cgs alrededor del bucle que incluye Q5 y la resistencia de pull-up para descargar. Si usted realmente quieres seguir con el uso de Q5, pon un diodo en serie con Q5 para que la corriente no pueda fluir hacia atrás a través del diodo de cuerpo de Q5 (puedes verlo en el símbolo esquemático. Casi todos los MOSFETs discretos tienen un diodo de cuerpo parásito como resultado de la forma en que se fabrican. No es necesario, pero suelen tenerlo el 99% de las veces. Cuando no es así, tienen un cuarto terminal de cuerpo. Nunca he visto un MOSFET discreto de potencia así. Sólo algunos MOSFET de señal para fines especiales).