(a) Lo demostramos por inducción. Caso inicial, $n=1$ :
\begin{align} \sum_{k=1}^n{\binom{2n-1-k}{n-1} (a^nb^{n-k}x^k + a^{n-k}b^ny^k)} & = \binom{0}{0}(a^1b^0x^1 + a^ob^1y^1) \\ & = ax+by \\ & = x^ny^n.\qquad\checkmark \end{align}
Supongamos ahora que la afirmación es cierta para algún $n\gt 0$ y considerar el caso de $n+1$ .
\begin{align} (xy)^{n+1} & = (ax+by) x^ny^n \\ (xy)^{n+1} & = (ax+by) \sum_{k=1}^n{\binom{2n-1-k}{n-1} (a^nb^{n-k}x^k + a^{n-k}b^ny^k)} \qquad\text{by inductive assumption} \\ & = \sum_{k=1}^n{\binom{2n-1-k}{n-1} (a^{n+1}b^{n-k}x^{k+1} + a^{n-k}b^{n+1}y^{k+1} + a^nb^{n-k+1}x^ky + a^{n-k+1}b^ny^kx)} \end{align}
Tenemos un término en $x^ky$ que debemos convertir en una expresión con $x$ y $y$ separados.
\begin{align} x^ky & = x^{k-1}(ax+by) \\ & = ax^k + bx^{k-1}y \\ & = ax^k + bx^{k-2}(ax+by) \\ & = ax^k + abx^{k-1} + b^2x^{k-2}y \\ & = \cdots \\ & = ax^k + abx^{k-1} + ab^2x^{k-2} + \cdots + ab^{k-1}x + b^ky. \end{align}
En $y^kx$ puede ampliarse de forma similar.
Entonces, para cualquier $j=1,\ldots ,n+1$ el $x^j$ en la suma anterior tiene los siguientes componentes:
\begin{align} \text{For } k & =j-1: & \ \qquad \binom{2n-j}{n-1} a^{n+1}b^{n-j+1}x^j \\ k & =j: & \ \qquad \binom{2n-1-j}{n-1} a^{n+1}b^{n-j+1}x^j \\ k & =j+1: & \ \qquad \binom{2n-2-j}{n-1} a^{n+1}b^{n-j+1}x^j \\ & \ \ldots & \\ k & =n: & \ \qquad \binom{n-1}{n-1} a^{n+1}b^{n-j+1}x^j. \\ \end{align}
Sumando todo esto, obtenemos $c_j$ el coeficiente del $x^j$ plazo:
\begin{align} c_j & = \sum_{i=0}^{n-j+1}{\binom{2n-j-i}{n-1}} \\ & = \sum_{i=0}^{n-j+1}{\binom{n-1+i}{n-1}} \qquad\text{reversing the order of summation}\\ & = \binom{2n-j+1}{n} \qquad\text{by Identity 5.9 with $n:=n-j+1,\; r:=n-1$} \\ & = \binom{2(n+1) - 1 - j}{(n+1) - 1}. \end{align}
Identidad 5.9 de Matemáticas concretas también se puede encontrar aquí según la ecuación 8.
Un argumento similar sirve para determinar el $y^j$ y con ello hemos demostrado que la afirmación es válida para $n+1$ y la prueba está completa.
(b) Un poco de ensayo y error indica que la fórmula equivalente para $x^my^n$ es:
$$x^my^n = \sum_{k=1}^m{\binom{m+n-1-k}{n-1} a^nb^{m-k}x^k} + \sum_{k=1}^n{\binom{m+n-1-k}{m-1} a^{n-k}b^my^k}.$$
Imagino que esta fórmula también podría demostrarse por inducción.