Esta es una respuesta tanto a la cooperativa y a @GuyFsone, que no entiende mi objeción. Y es demasiado largo para un comentario.
La pregunta original es
¿Qué está pasando aquí, no puedo encontrar ningún error...
Echemos un vistazo a una sustitución en una integral. Wikipedia nos dice que
$$\int_{\phi(a)}^{\phi(b)} f(x)\,dx = \int_a^b f(\phi(t))\phi'(t)\, dt$$
Donde $\phi$ es una función diferenciable definida en $[a,b]$. En realidad, sólo necesita ser definido en $]a,b[$ (a continuación, puede obtener un intervalo en un intervalo infinito como resultado de la sustitución).
Aviso, la variable en la integral original es $x$, y para la sustitución de uno tiene que escribir $x=\phi(t)$. Generalmente, se piensa en sustitución hacia atrás, y que iba a escribir $t=\psi(x)$, pero esto sólo es válido si se puede invertir la función de $\psi$, para escribir la sustitución de $x=\phi(t)$ según sea necesario. Para invertir una función, tiene que ser un bijection. Aquí se han escogido $t=\sin(x)$,$x\in[0,\pi]$, y no se puede invertir el seno de $[0,\pi]$.
Observe que $\phi$, por otro lado, no necesita ser bijective: es porque usted escribió $t=\psi(x)$ en el primer lugar que usted tiene para invertir la función de $\psi$ conseguir $\phi$.
Ahora, ¿cómo podríamos hacerlo correctamente, incluso con una función periódica? La cotangente viene a la mente, como se define, y bijective en $]0,\pi[$. La inversa es arccotangent, o $x=\mathrm{arccot}(t)$.
Una nota acerca de las definiciones: la cotangente es $\pi$-periódico, por lo tanto no tiene inversa en $\Bbb R$. Usted tiene que escoger un intervalo donde es bijective. Aquí, es obvio que el intervalo es $]0,\pi[$. Si desea una parcela de este arccotangent, eche un vistazo a esto. La trama se muestra por Wolfram Alpha es otra posibilidad, pero no la queremos aquí. El primero es el mismo, con una constante de $\pi$ añadido por $t<0$. La derivada es la misma donde están definidos. El primero, que vamos a utilizar aquí, tiene la ventaja de tener la imagen de $]0,\pi[$ como queremos, y también de ser diferenciable en a $]-\infty,+\infty[$.
Ahora, para $t\in]0,\pi[$, $\dfrac{\cos^2 \mathrm{arccot}(t)}{\sin^2 \mathrm{arccot}(t)}=t^2$, por lo tanto $1=(1+t^2)\sin^2\mathrm{arccot}(t)$ y
$$\sin^2\mathrm{arccot}(t)=\frac1{1+t^2}$$
Asimismo,
$$\cos^2\mathrm{arccot}(t)=\frac{t^2}{1+t^2}$$
Y, por supuesto, $\dfrac{\mathrm d}{\mathrm dt}\mathrm{arccot}(t)=\dfrac{-1}{1+t^2}$
La sustitución es por lo tanto:
$$\int_0^\pi \sin^4(x)\cos^6x\mathrm dx=-\int_{\infty}^{-\infty} \frac{t^6}{(1+t^2)^6}\mathrm dt=\int_{-\infty}^{\infty} \frac{t^6}{(1+t^2)^6}\mathrm dt$$
Esta integral no es muy fácil. Primero tienes que utilizar fracciones parciales:
$$\frac{t^6}{(1+t^2)^6}=\frac{1}{(1+t^2)^3}-\frac{3}{(1+t^2)^4}+\frac{3}{(1+t^2)^5}-\frac{1}{(1+t^2)^6}$$
Pero las integrales de cada uno de los términos llegar a ser muy largos (ver esta). Era simplemente un ejemplo para mostrar cómo la sustitución puede ser hecho correctamente aquí.
Otra forma de utilizar la sustitución, aún con $t=\sin(x)$, es usarlo en un intervalo donde el seno se bijective. En el caso de integrar en $[0,\pi/2]$ $[\pi/2,\pi]$ por separado, va a trabajar. Ver zipirovich la respuesta.