La respuesta corta
Olvida el análisis cuantitativo de fuerzas que has hecho. (Hay algunos errores en él. Por nombrar uno importante, la fuerza de reacción normal entre los bloques no será $mg\cos\theta$ .) Respondamos cualitativamente a las dos preguntas siguientes:
¿La cuña se acelerará horizontalmente o no?
Lo hará.
Razón: Analizaremos todo en el marco del suelo. Supongamos que la cuña no se acelera horizontalmente. Se puede ver fácilmente que el bloque en la cuña se moverá ciertamente hacia abajo a lo largo de la superficie de la cuña con cierta aceleración. Como la superficie de la cuña está inclinada respecto a la horizontal con un ángulo distinto de $\dfrac{\pi}2$ hay una componente no nula de la aceleración del bloque en la dirección horizontal. Si es así, entonces la aceleración del centro de masa del sistema es distinta de cero en la dirección horizontal. Esto no debe ocurrir porque la fuerza neta sobre el sistema es puramente a lo largo de la dirección vertical. Por lo tanto, nuestra suposición inicial de que la cuña no acelera horizontalmente es errónea. Más bien se mueve en la dirección horizontal con cierta aceleración para cancelar el efecto de la aceleración del bloque en la dirección horizontal, haciendo que la aceleración neta del centro de masa sea cero en la dirección horizontal.
¿Cómo es posible que la gravedad -una fuerza descendente- pueda causar cierta aceleración en la dirección horizontal?
Esta es una buena pregunta. Pero como puedes ver, no hay ninguna aceleración neta del centro de masa del sistema en la dirección horizontal. Esta es precisamente la afirmación que nos obligó a concluir que la cuña debe moverse horizontalmente con una aceleración no nula. La aceleración horizontal de la cuña y la aceleración horizontal del bloque se suman para que la aceleración horizontal neta del centro de masa sea cero. La razón por la que las partes individuales obtienen alguna aceleración horizontal se debe a que hay fuerzas internas de reacción normal en el sistema que tienen una componente horizontal distinta de cero. Estas fuerzas internas hacen que las partes del sistema adquieran alguna aceleración horizontal. Pero no pueden proporcionar ninguna aceleración horizontal al centro de masa.
La respuesta calculadora
Supongamos que la fuerza de reacción normal entre la cuña y el bloque es $N$ . Supongamos que la aceleración horizontal de la cuña con respecto al suelo es $a$ hacia la izquierda. Si la cuña no va a acelerar, entonces obtendremos $a=0$ - ¡no te preocupes! Ahora, saltemos al marco de referencia unido a la cuña. Observa que este marco verá una pseudofuerza tanto en la cuña como en el bloque correspondiente a su aceleración $a$ .
Ecuaciones para la cuña
Con respecto a la cuña, la cuña está en equilibrio. Por lo tanto, $$N\sin\theta=Ma\tag{1}$$ Ignoraremos la ecuación de movimiento de la cuña en la dirección vertical. Sólo será útil para encontrar la fuerza de reacción normal entre el suelo y la cuña, lo que no es útil para el análisis del movimiento de la cuña y el bloque.
Ecuaciones para el bloque
Con respecto a la cuña, el bloque se mueve a lo largo de la superficie de la cuña y la propia cuña está en reposo en equilibrio. Por lo tanto, la ecuación de los movimientos son simplemente: $$mg\sin\theta+ma\cos\theta=mb \tag{2}$$ $$mg\cos\theta-ma\sin\theta=N \tag{3}$$
Donde $b$ es la aceleración del bloque a lo largo de la superficie de la cuña observada por ésta.
Resolviendo estas ecuaciones, obtenemos $$a=\dfrac{g\sin2\theta}{2\bigg(\dfrac{M}{m}+\sin^2\theta\bigg)}\tag{4}$$ $$b=g\sin\theta\bigg(\dfrac{M+m}{M+m\sin^2\theta}\bigg)\tag{5}$$ $$N=\dfrac{g\cos\theta}{\bigg(\dfrac{1}{m}+\dfrac{\sin^2\theta}{M}\bigg)}\tag{6}$$
Como puede ver, su resultado $N=mg\cos\theta$ habría sido válida si la cuña no pudiera moverse, es decir, si $M\to\infty$