Debido al entero, no se puede resolver exactamente para $xp$. Sin embargo, puedes dar el rango de valores de $xp$ que pueden producir $nivel$.
Vamos a tomar tu ecuación original (reformateada para que me sienta mejor): $nivel = int\left(\left(\left(\sqrt{xp\times 8 + 100}\over10\right)-1\right)\div2\right)$.
Extraeré la función interna: $L = \left(\left(\sqrt{xp\times 8 + 100}\over10\right)-1\right)\div2$, entonces $nivel = int(L)$.
Luego, mostrando cada paso,
$\begin{align} 2L &= \left(\sqrt{xp\times 8 + 100}\over10\right)-1\\ 10(2L+1) &= \sqrt{xp\times 8 + 100}\\ (10(2L+1))^2 &= xp\times 8 + 100\\ \dfrac{(10(2L+1))^2-100}{8} &= xp\\ \end{align} $
Para $L \ge 0$, la expresión de la izquierda es estrictamente creciente. Llámala $xpl$, entonces $xpl(L) = \dfrac{(10(2L+1))^2-100}{8}$.
Dado que $nivel = int(L)$, $nivel \le L < nivel+1$ .
Por lo tanto $xpl(nivel) \le xpl(L) < xpl(nivel+1)$ así que, ya que $xp = xpl(L)$, $xpl(nivel) \le xp < xpl(nivel+1)$ .