Hay dos posibilidades aquí: puedes seleccionar cinco hombres y tres mujeres o cuatro hombres y cuatro mujeres, lo cual se puede hacer de $$\binom{16}{5}\binom{8}{3} + \binom{16}{4}\binom{8}{4} = 372,008$$ maneras.
Al designar cuatro de los hombres como los cuatro hombres que seleccionas y tres de las mujeres como las tres mujeres que seleccionas y luego seleccionar una persona adicional de los $17$ personas restantes, cuentas cada selección con cinco hombres y tres mujeres cinco veces, una vez por cada una de las $\binom{5}{4}$ maneras en que podrías designar a cuatro de esos cinco hombres como los cuatro hombres que seleccionas, y cada selección con cuatro hombres y cuatro mujeres cuatro veces, una vez por cada una de las $\binom{4}{3}$ maneras en que podrías designar a tres de las cuatro mujeres como las tres mujeres que seleccionas. La razón de los errores es que el conjunto de personas adicionales no es disjunto del conjunto de hombres (cuando seleccionas cinco hombres y tres mujeres) o del conjunto de mujeres (cuando seleccionas cuatro hombres y cuatro mujeres).
Para ilustrar con cinco hombres y tres mujeres: Supongamos que los hombres son Andrew, Bruce, Charles, David y Edward y las mujeres son Fiona, Gloria y Harriet. Tu método cuenta esta selección cinco veces.
$$\begin{array}{l l l} \text{cuatro hombres} & \text{tres mujeres} & \text{persona adicional}\\ \hline \text{Andrew, Bruce, Charles, David} & \text{Fiona, Gloria, Harriet} & \text{Edward}\\ \text{Andrew, Bruce, Charles, Edward} & \text{Fiona, Gloria, Harriet} & \text{David}\\ \text{Andrew, Bruce, David, Edward} & \text{Fiona, Gloria, Harriet} & \text{Charles}\\ \text{Andrew, Charles, David, Edward} & \text{Fiona, Gloria, Harriet} & \text{Bruce}\\ \text{Bruce, Charles, David, Edward} & \text{Fiona, Gloria, Harriet} & \text{Andrew}\\
Para ilustrar con cuatro hombres y cuatro mujeres: Supongamos que los hombres son Andrew, Bruce, Charles y David y las mujeres son Esme, Fiona, Gloria y Harriet. Tu método cuenta esta selección cuatro veces.
$$\begin{array}{l l l} \text{cuatro hombres} & \text{tres mujeres} & \text{persona adicional}\\ \hline \text{Andrew, Bruce, Charles, David} & \text{Esme, Fiona, Gloria} & \text{Harriet}\\ \text{Andrew, Bruce, Charles, David} & \text{Esme, Fiona, Harriet} & \text{Gloria}\\ \text{Andrew, Bruce, Charles, David} & \text{Esme, Gloria, Harriet} & \text{Fiona}\\ \text{Andrew, Bruce, Charles, David} & \text{Fiona, Gloria, Harriet} & \text{Esme}\\
Nota que $$\color{red}{\binom{5}{4}}\binom{16}{5}\binom{8}{3} + \color{red}{\binom{4}{3}}\binom{16}{4}\binom{8}{4} = \color{red}{1,732,640}$$