WOLOG, considere el caso donde el cubo es $[-1,1]^3$ y $A = (1,1,1)$, $B = (-1,-1,-1)$.
Deje $P = (x,y,z)$ ser cualquier punto en el interior del cubo.
Deje $\alpha$ ser el ángulo de $\angle APB$ y $r^2 = x^2+y^2+z^2$, $s = x+y+z$.
Tenemos
$$\begin{align}
\vec{PA}\cdot\vec{PB} &= (1-x)(-1-x)+(1-y)(-1-y) + (1-z)(-1-z) = - (3-r^2)\\
|\vec{PA}|^2 &= (1-x)^2 + (1-y)^2 + (1-z)^2 = 3+r^2 - 2s\\
|\vec{PB}|^2 &= (-1-x)^2 + (-1-y)^2 + (-1-z)^2 = 3+r^2 + 2s
\end{align}$$
La condición
$$\alpha \ge 135^\circ \ffi \cos\alpha \le \cos135^\circ = -\frac{1}{\sqrt{2}}
\quad\ffi\quad\vec{PA}\cdot\vec{PB} \le -\frac{1}{\sqrt{2}}|\vec{PA}||\vec{PB}|
$$
conduce a
$$\begin{align}
& 3-r^2 \ge \frac{1}{\sqrt{2}}\sqrt{(3+r^2)^2 - 4s^2}\\
\stackrel{*}{\iff} & 2(3-r^2)^2 - (3+r^2)^2 + 4s^2 \ge 0
\iff (r^2 - 9)^2 \ge 72 - 4s^2\\
\stackrel{*}{\iff} & 9-r^2 \ge 2\sqrt{18-s^2}
\iff r^2 \le 9 - 2\sqrt{18-s^2}\tag{*1}
\end{align}
$$
En los pasos anteriores, los dos marcada $\stackrel{*}{\iff}$ es cierto porque las $3-r^2$ $9-r^2$ son positivas en el interior del cubo.
Deje $\Omega$ ser la región en $\mathbb{R}^3$ determinado por la última condición en la $(*1)$
y $\mathcal{H}_t$ ser el avión
$$\mathcal{H}_t = \big\{ (x,y,z) \in \mathbb{R}^3 : x+y+z = s = 3t \big\}$$
La intersección $\Omega \cap \mathcal{H}_t$ es un disco de radio $\rho(t)$ y
$$\rho^2(t) = r^2 - \frac{s^2}{3} = 9 - 2\sqrt{18-s^2} - \frac{s^2}{3}
\implica \rho(t) = \sqrt{3} ( \sqrt{2-t^2} - 1)$$
Si $\Omega$ se encuentra completamente dentro de $[-1,1]^3$, entonces la probabilidad de que quiere ser
$$\begin{align}
\text{Prob}\;\stackrel{?}{=}\; &
\frac{1}{8}\int_{-1}^1 \pi \rho(t)^2 \sqrt{3} dt
= \frac{3\sqrt{3}\pi}{4}\int_0^1 (\sqrt{2-t^2}-1)^2 dt\\
=\; & \frac{(10-3\pi)\sqrt{3}\pi}{8}\approx 0.39125151339375
\end{align}\etiqueta{*2}
$$
El problema es que cerca de las dos vértices $A$$B$, pequeñas porciones de $\Omega$ ampliar
más allá del cubo $[-1,1]^3$. La siguiente imagen ilustra la geometría.
$\hspace0.8in$
Vamos a considerar lo que sucede cerca de $A$ donde $t \sim 1$. Si nos cruzan el cubo de $[-1,1]^3$
con el avión $\mathcal{H}_t$,
$[-1,1]^3 \cap \mathcal{H}_t$ será un triángulo equilátero con centroide $(t,t,t)$. Mediados de los puntos de los bordes será a una distancia
$$\mu(t) = \sqrt{\frac32}\big(1-|t|\big)$$
desde el centroide. Cuando
$$\rho(t) > \mu(t) \quad\iff\quad |t| \ge \frac{2\sqrt{2}-1}{3}$$
el círculo de $\Omega \cap \mathcal{H}_t$ se extienden más allá del triángulo $[-1,1]^3 \cap \mathcal{H}_t$. La parte exterior de un triángulo es una unión de 3 segmentos de círculo
centrada en $(t,t,t)$. Deje $2\theta(t)$ ser el ángulo de span por uno de estos segmentos de círculo con respecto a $(t,t,t)$. Tenemos
$$\cos\theta(t) = \frac{\mu(t)}{\rho(t)} = \frac{\sqrt{\frac32}(1-|t|)}{\sqrt{3}(\sqrt{2-t^2}-1)} = \frac{\sqrt{2-t^2}+1}{\sqrt{2}(1 + |t|)} $$
Elementales de la geometría nos dice que el área de cualquiera de estos segmentos de círculo es
$$\rho(t)^2\big( \theta(t) - \sin\theta(t)\cos\theta(t)\big)$$
Si ampliamos la definición de $\theta(t)$, de modo que se desvanece para $|t| < \frac{2\sqrt{2}-1}{3}$, se puede modificar el $(*2)$ y obtener
$$
\text{Prob}
= \frac{3\sqrt{3}\pi}{4}\int_0^1 (\sqrt{2-t^2}-1)^2 \left[1 - \frac{3}{\pi}\big(\theta(t)- \sin\theta(t)\cos\theta(t)\big)\right] dt
\etiqueta{*2'}
$$
La diferencia entre el $(*2)$ $(*2')$ está dado por la siguiente expresión
$$\frac{9\sqrt{3}}{4}\int_{\frac{2\sqrt{2}-1}{3}}^1 (\sqrt{2-t^2}-1)^2 \big(\theta(t)- \sin\theta(t)\cos\theta(t)\big) dt$$
No sé cómo integrar esta analíticamente. Integración numérica nos da
un número$\approx 0.0025156775956542$, que es menos de $1\%$ de la $(*2)$. Finalmente, la probabilidad de que queremos es
$$\bbox[8pt,border:1px solid blue]{
\text{Prob} \approx \frac{(10-3\pi)\sqrt{3}\pi}{8} - 0.0025156775956542 \aprox 0.3887358357981
}
$$
Como un doble check, que he dividido el cubo de $[-1,1]^3$ a $300^3$ cubos más pequeños
y contar el número de cubos más pequeños que satisfacen $\cos\alpha \le \cos 135^\circ$. Esto me da otra estimación $\text{Prob} \approx 0.388734$.
Esto es consistente con lo que acabamos de calcular.