Es mejor atenerse a la notación formal a menos que defina la suya.
Supongamos que $X_i$ es la variable aleatoria que denota el número en el $i$ el boleto sorteado, $i=1,2,\cdots,n$ .
Denote $\max (X_1,X_2,\cdots,X_n)$ por $X_{(n)}$ . Buscamos la función de masa de probabilidad de $X_{(n)}$ .
Para el muestreo sin sustitución la probabilidad requerida es
\begin{align} P(X_{(n)}=M)&=P(X_{(n)}\le M)-P(X_{(n)}\le M-1) \\&=\frac{\binom{M}{n}}{\binom{N}{n}}-\frac{\binom{M-1}{n}}{\binom{N}{n}} \\&=\begin{cases}\dfrac{\binom{M-1}{n-1}}{\binom{N}{n}}&,\text{ if }M=n,n+1,\cdots,N\\\\\quad0&,\text{ otherwise }\end{cases} \end{align}
No es necesario simplificar aún más dividiendo el coeficiente binomial en factoriales.
Para el muestreo con sustitución la probabilidad es simplemente
\begin{align} P(X_{(n)}=M)&=P(X_{(n)}\le M)-P(X_{(n)}\le M-1) \\&=\left(\frac{M}{N}\right)^n-\left(\frac{M-1}{N}\right)^n \\&=\begin{cases}\frac{1}{N^n}\left(M^n-(M-1)^n\right)&,\text{ if }M=1,2,\cdots,N\\\\\quad0&,\text{ otherwise }\end{cases} \end{align}
Aquí las variables aleatorias $X_1,X_2,\cdots,X_n$ son independientes a diferencia del caso anterior.