Con lo que ya has hecho estás casi en casa, el último paso consiste en manipular la suma multiplicando por $x^{11}(1-x^5)=x^{11}-x^{16}$ así
$$\begin{align}(x^{11}-x^{16})\sum_{n=0}^{\infty}\binom{n+5}{5}x^n&=\sum_{n=0}^{\infty}\binom{n+5}{5}(x^{n+11}-x^{n+16})\\&=\sum_{n=0}^{\infty}\binom{n+5}{5}x^{n+11}-\sum_{n=0}^{\infty}\binom{n+5}{5}x^{n+16}\end{align}$$
reetiquetado de los índices de suma $n\rightarrow n-11$ y $n\rightarrow n-16$ para la primera y la segunda suma, respectivamente, da como resultado
$$\sum_{n=11}^{\infty}\binom{n-6}{5}x^{n}-\sum_{n=16}^{\infty}\binom{n-11}{5}x^{n}$$
pero si definimos $\binom{a}{b}=0$ para $a\lt b$ tal que $a,b\in \mathbb{Z}$ entonces podemos escribirlo como
$$\sum_{n=0}^{\infty}\binom{n-6}{5}x^{n}-\sum_{n=0}^{\infty}\binom{n-11}{5}x^{n}$$
o simplemente
$$\sum_{n=0}^{\infty}\left(\binom{n-6}{5}-\binom{n-11}{5}\right)x^n$$
de ahí que sus coeficientes $c_n$ en
$$\frac{x^{11}-x^{16}}{(1-x)^6}=\sum_{n=0}^{\infty}c_nx^n$$
son
$$c_n=\binom{n-6}{5}-\binom{n-11}{5}\tag{Answer}$$
Por ejemplo, para encontrar el coeficiente $x^{15}$ enchufe $n=15$ en esa fórmula.
0 votos
Ahora piensa en multiplicar el producto que has creado. Tienes un $x^[11}$ y un $1$ o un $x^5$ ¿qué se necesita del tercer término del producto para obtener $x^{15}$ ?
0 votos
@sharding4 Necesito $x^4$ ?
0 votos
¿Ves alguna forma de conseguir un $x^4$ ?
3 votos
Comprueba las reglas de los exponentes. $x^{11} \cdot (-x^5) $ ya tiene un exponente mayor que $15$ para que no pueda obtener un $x^{15}$ de esa manera. El $x^{11} \cdot 1 \cdot \binom {9}{4} x^4$ es correcto.
0 votos
@sharding4 Oye, gracias. Sólo quiero aclarar mi entendimiento : Supongamos que tengo que encontrar el coeficiente de $x^{19}$ para la misma expansión : Así que el producto final sería $(x^{11} - x^{16})$ Así que ambos están bien y necesitan 8 y 3. Entonces, ¿la respuesta sería (8+5,8) - (3+5,3)?
0 votos
Para $x^{19}$ obtendrás la suma de 2 términos, $x^{11} \cdot 1 \cdot \binom{13}{8} x^8$ más $x^{11}\cdot (-x^5) \cdot \binom{8}{3} x^3$ Así que sí $\binom{13}{8} - \binom{8}{3}$