Supongo que no podemos simplemente utilizar la fórmula de Stirling en n!, k! y (nk)! al mismo tiempo, así que no veo cómo proceder.
¿Por qué no? Podemos reformular la fórmula de Stirling de la siguiente manera:
Existe una función $\psi:(-1,\infty)\to\Bbb R$ (o $\Bbb N_0\to\Bbb R$ si no quieres preocuparte por la función Gamma) tal que: $$x!=x^xe^{-x}\sqrt{2\pi x}\cdot(1+\psi(x))$$ Para todos $x>-1$ y: $$\lim_{x\to\infty}\psi(x)=0$$
Así, para cualquier $n\in\Bbb N_0$ y enteros $0\le k=k(n)\le n$ que tenemos: $$\binom{n}{k}=\frac{n!}{k!(n-k)!}=\frac{n^ne^{-n}\sqrt{2\pi n}(1+\psi(n))}{k(n)^{k(n)}e^{-k(n)}\sqrt{2\pi k(n)}\cdot(1+\psi(k(n))+(n-k(n))^{n-k(n)}e^{k(n)-n}\sqrt{2\pi(n-k(n))}\cdot(1+\psi(n-k(n))}$$
Desde $k\in o(n^{2/3})$ En particular, en $o(n)$ así que $k(n)\ll n$ para todo lo suficientemente grande $n$ en cuyo caso la expresión anterior es válida. Dado que estás derivando una asintótica, no te importa el pequeño $n$ así que puede darlo por hecho.
Podemos limpiar esto buceando por el factor más a la derecha del denominador: $$\binom{n}{k}=\frac{\left(\frac{n}{n-k}\right)^{n+1/2}(n-k)^{k}e^{-k}\cdot\frac{1+\psi(n)}{1+\psi(n-k)}}{1+\left(\frac{k}{n-k}\right)^{k+1/2}(n-k)^{-n}e^{n-2k}\cdot\frac{1+\psi(k)}{1+\psi(n-k)}}$$
Y podemos seguir la pista, tomando logaritmos. El logaritmo del numerador es: $$-\left(n-k+\frac{1}{2}\right)\log\left(1-\frac{k}{n}\right)+k\log(n)-k+\log\left(\frac{1+\psi(n)}{1+\psi(n-k)}\right)$$ Tenga en cuenta que $n-k\to\infty$ como $n-k\sim n\to\infty$ . El logaritmo de la derecha tiende entonces a $\log(1)=0$ así que terminaré con $o(1)$ (He introducido una función "explícita $\psi$ sólo para subrayar que el uso de la notación asintótica es realmente riguroso). $-\log(1-k/n)=k/n+\Theta(k^2/n^2)=k/n+o(n^{-2/3})$ (válido, como $k/n\to0$ ). Obtenemos: $$\frac{k-k^2}{n}+\frac{1}{2}\varphi(n)+k\log(n)-k+o(1)$$ Utilizando $n-k\sim n$ de nuevo, donde $\varphi(n)\sim k^2/n$ .
¿Cómo se comporta el denominador? Debes comprobar que el denominador tiende a $1$ y utilizar $\log(1+\cdots)$ de nuevo. Probablemente será bastante tedioso, pero este enfoque debería darte la respuesta correcta si lo haces con cuidado (mira, podría haber ignorado $\varphi(n)$ y por escrito $\Theta(k^2/n)$ pero veo las características de la expresión objetivo $k^2/2n$ por lo que parece que se necesitan más detalles).