Para hablar de ortogonalidad hay que definir primero un producto interior.
Si consideramos variables aleatorias con segundo momento finito, covarianza puede mostrarse sea un producto interno. En este caso, dos variables aleatorias son ortogonales si y sólo si no están correlacionadas:
$$ 0 = \text{cov}(X, Y) = \mathbb{E}[X Y] - \mathbb{E}[X] \mathbb{E}[Y] $$
Obsérvese que la covarianza cero no no implican independencia (en general). Para más detalles, véase ¿Covarianza e independencia?
También se podría haber definido el producto interior de otra manera, lo que llevaría a otra noción de ortogonalidad. Sin embargo, la que he descrito me parece más común.