Disculpas: La siguiente respuesta no está completa y puede contener inexactitudes (aunque he intentado identificar posibles áreas problemáticas). No tengo tiempo debido a compromisos laborales para llevar esto hasta el final, pero pensé que dada la cantidad que ya he hecho sería absurdo no publicarlo en caso de que sea de alguna ayuda. ¡Buena suerte resolviendo esto, esperemos que @whuber tenga algo en la manga!
Aquí es cómo intentaría resolver el problema:
Como se señaló, los $X_{(i)}$ no son independientes, ya que deben estar ordenados, por lo que una simple convolución no funciona. Trabajaremos con su ordenamiento y con suerte @whuber señalará lo mucho más simple que es con el ordenamiento alternativo y cómo aplicar los resultados de un ordenamiento al otro.
Por lo tanto, debemos calcular la PDF de $Y = \frac{1}{M}\sum_{i=1}^{M}{X_{(i)}}$ considerando primero la CDF de $Y:
$$ F_Y(y)=\Pr(Y\le y)=\int_0^\infty{\cdots\int_0^\infty{f_{X_{(1)},\ldots,X_{(M)}}(x_{(1)},\ldots,x_{(M)})I(x_{(1)}+x_{(2)}+\ldots+x_{(M)}\le yM)dx_{(1)}}\ldots dx_{(M)}} $$
Donde $I(\cdot)$ es una función indicadora que toma el valor $1$ si se cumple la desigualdad y $0$ en caso contrario.
Por ahora creo que es aceptable integrar solo sobre $x_{(1)}$ a $x_{(M)}$, pero podría ser necesario integrar sobre todos los $N$.
Ahora $f_{X_{(1)},\ldots,X_{(M)}}(x_{(1)},\ldots,x_{(M)})$ es la fórmula que das arriba o cero si los $x_{(i)}$ no están ordenados. Para evitar hacer declaraciones de casos separados, añadimos otra función indicadora:
$$ F_Y(y)=\int_0^\infty{\cdots\int_0^\infty{f_{X_{(1)},\ldots,X_{(M)}}(x_{(1)},\ldots,x_{(M)})I\left(\sum_{i=1}^M{x_{(i)}}\le yM\right)I(x_{(1)}\ge x_{(2)}\ge \ldots \ge x_{(M)})dx_{(1)}}\ldots dx_{(M)}} $$
Ahora trabajamos en ajustar los límites de la integral de manera que excluyan los valores de $x_{(i)}$ para los cuales las funciones indicadoras dan $0$. Primero tomamos la función indicadora para el ordenamiento. Tomará el valor $0$ si $x_{(1)}
La otra función indicadora establecerá nuestros límites superiores. Para $x_{(i)}, i=1,\ldots,M-1$ tenemos la desigualdad $x_{(i)} \le yM - \sum_{j=i+1}^M{x_{(j)}}$ y para $x_{(M)}$, el límite superior es simplemente $yM$. De hecho, creo que se puede simplificar aún más y utilizar la desigualdad $x_{(i)} \le yM - x_{(i+1)}$ y evolucionar el problema de mantener la desigualdad más grande "en la cadena alimenticia", por así decirlo.
Nuestra integral final se ve así:
$$ F_Y(y)=\int_0^{yM}{\int_{x_{(M)}}^{yM-x_{(M)}}{\cdots\int_{x_{(2)}}^{yM-x_{(2)}}{f_{X_{(1)},\ldots,X_{(M)}}(x_{(1)},\ldots,x_{(M)})dx_{(1)}}\ldots dx_{(M-1)}}dx_{(M)}} $$
Ahora considera que muchas de las términos en $f_{X_{(1)},\ldots,X_{(M)}}(x_{(1)},\ldots,x_{(M)})$ realmente pueden ser sacados de la integral o al menos distribuidos de tal manera que la vuelvan menos intimidante:
$$ F_Y(y)=\frac{\lambda^M N!}{(N-M)!}\int_0^{yM}{(1-e^{-\lambda x_{(M)}})^{N-M}e^{-\lambda x_{(M)}}\int_{x_{(M)}}^{yM-x_{(M)}}{e^{-\lambda x_{(M-1)}}\cdots\int_{x_{(2)}}^{yM-x_{(2)}}{e^{-\lambda x_{(1)}} dx_{(1)}}\ldots dx_{(M-1)}}dx_{(M)}} $$
(Quizás quieras verificar si los límites en el producto realmente podrían ser $i=1,\ldots,M-1$ y he asumido que te refieres a $x_{(i)}$ en lugar de $x_i$ en todo momento).
La primera integral se resuelve de la siguiente manera:
$$ \int_{x_{(2)}}^{yM-x_{(2)}}{e^{-\lambda x_{(1)}} dx_{(1)}} = \left[-\frac{e^{-\lambda x_{(1)}}}{\lambda}\right]_{x_{(2)}}^{yM-x_{(2)}} = \frac{e^{-\lambda x_{(2)}}-e^{-\lambda (yM-x_{(2)})}}{\lambda} $$
Dejándonos con:
$$ F_Y(y)=\frac{\lambda^M N!}{(N-M)!}\int_0^{yM}{(1-e^{-\lambda x_{(M)}})^{N-M}e^{-\lambda x_{(M)}}\int_{x_{(M)}}^{yM-x_{(M)}}{e^{-\lambda x_{(M-1)}}\cdots \int_{x_{(3)}}^{yM-x_{(3)}}{e^{-\lambda x_{(2)}}\frac{e^{-\lambda x_{(2)}}-e^{-\lambda (yM-x_{(2)})}}{\lambda}dx_{(2)}}\ldots dx_{(M-1)}}dx_{(M)}} $$
Luego podemos simplificar el integrando más interno:
$$ e^{-\lambda x_{(2)}}\frac{e^{-\lambda x_{(2)}}-e^{-\lambda (yM-x_{(2)})}}{\lambda} = \frac{e^{-2\lambda x_{(2)}}-e^{-\lambda yM}}{\lambda} $$
Esta integral también se puede resolver explícitamente y así sucesivamente.
Como dije antes, lamento que la respuesta no esté completa. Con suerte, después de hacer un par de integraciones adicionales, podrías usar la inducción para terminar el trabajo.
