$N$ bolas negras y $N$ bolas blancas se colocan en dos urnas, de modo que cada urna contiene $N$ bolas. En cada paso de una bola es seleccionado en el al azar de cada urna y las dos bolas de intercambio. El estado de la el sistema es el número de bolas blancas en la primera urna.
Lo que yo pienso
Deje $X$ el número de bolas blancas en la urna $(1)$, entonces queremos que $$P_{jk}=P(X_{n+1}=k|X_n=j)$$ entonces tenemos tres posibilidades para $k$ $$(i)\;k=j+1$$ $$(ii)\;k=j$$ $$(iii)\;k=j-1$$ Primero debemos saber si $(1)$ ha $j$ bolas blancas, a continuación, $(2)$ ha $N-j$ bolas blancas.
Deje $A$ el caso de tomar una bola blanca en $(1)$ $A'$ el caso de tomar la bola negra en $(1)$ $$P(A)=\frac{j}{N}\space ,\space P(A')=\frac{N-j}{N}$$ de forma análoga deje $B$ el caso de tomar la bola blanca en $(2)$ $B'$ el caso de tomar una bola negra en $(2)$ $$P(B)=\frac{N-j}{N}\space,\space P(B')=\frac{j}{N}$$
Entonces tenemos para
$i)$ $$P(X_{n+1}=k|X_n=j)=P(A')*P(B)=\left(\frac{N-j}{N}\right)^2$$ $ii)$ $$P(X_{n+1}=k|X_n=j)=P(A)P(B)+P(A')P(B')=\left(\frac{j}{N}\right)\left(\frac{N-j}{N}\right)+\left(\frac{N-j}{N}\right)\left(\frac{j}{N}\right)=2\left(\frac{j}{N}\right)\left(\frac{N-j}{N}\right)$$ $iii)$ $$P(X_{n+1}=k|X_n=j)=P(A)P(B')=\frac{j}{N}\frac{j}{N}=\left(\frac{j}{N}\right)^2$$
Es ese derecho? Hay una manera más fácil de hacer?