Estoy aplicando un poco de conjetura interpretativa a tu pregunta tal como está formulada.
Trabajemos en coordenadas cilíndricas $(z, \rho, \phi)$, donde $\rho^2 = x^2 + y^2$ y $\tan \phi = x/y$. El ángulo desde el eje $z$ hasta cualquier punto lo designaremos como $\theta$, donde $\tan \theta = \rho/z$. Los rayos (que podemos describir mediante los ángulos $\phi$ y $\theta$) se disparan desde el origen hacia el plano infinito $z = d$, donde $d > 0$. La probabilidad de que un rayo impacte es $\exp (-\alpha d\, \sec \theta)$; la simetría esférica del problema nos permite ignorar $\phi$. (Creo que lo has invertido en tu pregunta, queremos que la probabilidad de que un rayo impacte tienda a 0 cuando $d \to \infty$, no la probabilidad de que un rayo no impacte). Luego, la probabilidad general de que un rayo impacte, teniendo en cuenta los límites en $\theta$ impuestos por tu pregunta, es simplemente $$\int_0^{\pi/2} \exp (-\alpha d \sec \theta)\, d\theta$$ lo cual, desafortunadamente, creo que no tiene una forma cerrada (para $\alpha d = 1$, el valor numérico es aproximadamente $0.3283$ según WolframAlpha).