El proceso de dualización es el siguiente: supongamos $x \in H_l(\mathbb RP^\infty)$. Entonces, por el hecho de que $H^l(\mathbb RP^\infty) = \hom(H_l(\mathbb RP^\infty),k)$, obtenemos de $x$ un mapa $H^l(\mathbb RP^\infty)\to k$ (que es simplemente la evaluación en $x$)
Componiendo con la multiplicación obtenemos un mapa $\bigoplus_{p+q=l}H^p\otimes H^q \to k$, que es a su vez una suma de mapas $H^p\otimes H^q\to k$
Ahora $H^p\otimes H^q \simeq \hom(H_p\otimes H_q, k)$ (el mapa natural va $\to$, pero en esta situación tenemos la suerte de que es un isomorfismo, por lo que podemos ir $\leftarrow$)
Así obtenemos un mapa $\hom(H_p\otimes H_q,k)\to k$. Pero como todo es de dimensión finita, este mapa tiene la forma $f\mapsto f(a_{p,q})$ para algún $a_{p,q}\in H_p\otimes H_q$.
Esto nos dice que podemos poner $\Delta (x) = \displaystyle\sum_{p+q=k}a_{p,q}$, y así tenemos nuestra estructura de coalgebra (la co-unidad es obvia)
Para $\mathbb RP^\infty$, todo es unidimensional, por lo que nuestra tarea es inmensamente más fácil que en general: el mapa $H^l(\mathbb RP^\infty)\to k$ asociado a cada $x$ es un isomorfismo y cada $H^p\otimes H^q\to H^l$ también lo es.
Al elegir los generadores correctamente (mira el caso $k=\mathbb F_2$ y luego tensoriza con $k$, por ejemplo), si $x_p$ genera $H_p(\mathbb RP^\infty)$, entonces $\Delta(x_l) = \displaystyle\sum_{p+q=l}x_p\otimes x_q$
(lo cual, por supuesto, es dual a cómo en cohomología, $x_p\cup x_q = x_{p+q}$, como $H^* \simeq k[x]$)