La muestra $a\subset A$ corresponde a su función indicadora $X: A\cup B\to \{0,1\}$ definido por $X(i)=1$ para $i\in a$ y $X(i)=0$ de lo contrario.
La función indicadora es una herramienta para trabajar con probabilidades. La conexión es a través de la expectativa. Para cada $i\in A\cup B,$ $X(i)$ es una variable aleatoria. Por la definición de expectativa, el valor esperado de $X(i)$ es
$$E(X(i)) = \Pr(X(i)=0)(0) + \Pr(X(i)=1)(1) = \Pr(X(i)=1) = \Pr(i\in A).$$
Una función indicadora similar $Y$ está asociada a la muestra $b.$ Usted supone implícitamente que las muestras son independientes, por lo que también lo son todos los pares de variables aleatorias $X(i)$ y $Y(j).$
Llamada a un conjunto $a$ una "muestra" de $A$ implica todo elemento $i\in A$ tiene las mismas posibilidades $\pi_a = \Pr(i\in a)$ de estar en $a$ y ningún elemento de $B\setminus A$ tiene alguna posibilidad de estar en $a.$ Con esta notación, cuando $i\in A$
$$E(X(i)) = \pi_a$$
y en caso contrario $E(X(i)) = 0.$
El número de elementos de $a$ puede recuperarse a partir de su función indicadora como
$$|a| = \sum_{i\in A} X(i).$$
Tomar expectativas da
$$|a|=E(|a|) = E\left(\sum_{i\in A} X(i)\right) = \sum_{i\in A} E(X(i)) = \sum_{i\in A} \pi_a = |A|\pi_a,$$
lo que nos permite concluir (suponiendo $A$ no es vacío) que
$$\pi_a = \frac{|a|}{|A|},\tag{1}$$
como usted ha intuido correctamente. Utilizando una notación similar para la muestra $b\subset B$ concluimos
$$\pi_b = \frac{|b|}{|B|}.\tag{2}$$
Por último, el tamaño de la intersección de las muestras es
$$|a\cap b| = \sum_{i\in A\cap B} X(i)Y(i).$$
Tomando las expectativas una vez más y explotando el supuesto de independencia se obtiene
$$\begin{aligned} E(|a\cap b|) &= \sum_{i\in A\cap B} E(X(i)Y(i))\\ &= \sum_{i\in A\cap B} E(X(i))\,E(Y(i))\\ &= \sum_{i\in A\cap B} \pi_a\pi_b\\ &= |A\cap B|\pi_a\pi_b.\end{aligned}$$
La respuesta se obtiene sumando $(1)$ y $(2)$ para las probabilidades,
$$E(|a\cap b|) = |A\cap B|\, \frac{|a|}{|A|}\, \frac{|b|}{|B|}.$$
Este es el valor dado en la pregunta.
