Existe una diferencia entre la distribución de probabilidad (o: densidad de probabilidad) y la probabilidad. La primera es tu función $p(l) = \textrm{d} P / \textrm{d} l$, que obtenemos integrando sobre algún rango de $l$, \begin{equation} P([a,b]) = \int_a^b \textrm{d}l\ p(l). \end{equation} Es decir, solo tiene sentido hablar sobre la probabilidad asociada con un intervalo y si el volumen de ese intervalo tiende a cero, $\vert a - b \vert \to 0$, también lo hace $P([a,b])$. Y como ya notaste, tu $p(l)$ integrado sobre cualquier región finita siempre da un número finito (es decir, es una función integrable).
Para ver por qué no hay divergencia para $\vert a - b \vert \to 0$ con $b = 1/\sqrt{3}$ (de hecho estamos mostrando que $p(l)$ es integrable a pesar de la divergencia), podemos investigar $p(l)\textrm{d}l$. Cambiando variables a $x = \sqrt{3}l \in [0,1]$ y luego a $x = \sin \theta$ con $\theta \in [0,\pi/2]$, obtenemos \begin{equation} p(l)\textrm{d}l = 3 \frac{(1-\cos\theta)^2}{\sin^3 \theta} \exp\left[ - \frac{4\pi}{3 \sin^2\theta}(\cos^{3/2}\theta - 1) \right] \textrm{d} \theta. Esto es manifiestamente finito cuando $\theta \to \pi/2$ (correspondiente a $l = 1/\sqrt{3}$). Nota que bajo el cambio de variables $\textrm{d}l = \textrm{d}x / \sqrt{3} = \cos\theta \textrm{d}\theta / \sqrt{3}$. Este factor de $\cos\theta$ cancela el $\sqrt{1-3l^2} = \cos\theta$ en el denominador.
Esto muestra que al considerar intervalos, las divergencias de tu distribución de probabilidad no representan un problema.
Apéndice: Para ver que el límite $\theta \to 0$ también es sin problemas, expandimos en el numerador, $(1- \cos\theta)^2 \to \theta^4/4$, y en el denominador, $\sin^3\theta \to \theta^3$. Esto deja un poder de $\theta \to 0$. El exponencial va a $\exp(- \textrm{large}) \to 0$.
