Qué propiedades son "profundas" es una cuestión muy subjetiva, así que la respuesta depende de tu concepto de "profundidad". Pero, si tener priores conjugados es una propiedad "profunda", en algún sentido, entonces ese sentido es matemático y no estadístico. La única razón por la que (algunos) estadísticos se interesan por las priores conjugadas es que simplifican algunos cálculos. Pero eso es menos importante cada día que pasa.
EDIT
Tratando de responder a @whuber comentario a continuación. En primer lugar, una respuesta necesita preguntar más precisamente ¿qué es una familia conjugada de priors? Significa una familia que es cerrada bajo muestreo, por lo que, (para el modelo de muestreo dado), las distribuciones a priori y a posteriori pertenecen a la misma familia. Esto es claramente cierto para la familia de todos distribuciones, pero esa interpretación deja la pregunta sin contenido, por lo que necesitamos una interpretación más limitada. Además, como señala Diaconis & Ylvisaker para el modelo binomial, si dejamos que $h$ sea una función positiva acotada sobre $[0,1]$ y $f(p;\alpha,\beta)$ sea la densidad beta, entonces $h(p)f(p;\alpha,\beta)$ es una prioridad conjugada. Carece de algunas de las propiedades de la a priori conjugada beta habitual, pero la familia que genera es cerrada bajo muestreo, por lo que es una a priori conjugada. No obtenemos fórmulas cerradas agradables, pero sólo necesitamos una integración numérica para obtener la constante normalizadora.
Ahora bien, la densidad a priori beta habitual tiene otra propiedad importante: La expectativa posterior es una función lineal: $$ \DeclareMathOperator{\E}{\mathbb{E}} \E \left\{ \E (\theta \mid X=x)\right\} = ax+b $$ (para algunos $a,b$ ). La propiedad correspondiente es válida para las priores conjugadas "habituales" en familias exponenciales, véase Diaconis & Ylvisaker . En este sentido, las familias conjugadas habituales desempeñan un papel en la estadística bayesiana similar al teorema de Gauss-Markov en la estadística clásica (véase Función del teorema de Gauss-Markov en la regresión lineal ): es una justificación de los métodos lineales.
También existe otro punto de vista que conduce a las familias conjugadas habituales. Si pensamos que la información previa representa información de algún datos anteriores (de la misma familia de distribución muestral), entonces podríamos incorporar esta información como una función de verosimilitud a priori . Entonces podríamos obtener una función de verosimilitud combinada multiplicando la verosimilitud a priori por la verosimilitud de los datos. En lugar de ello, podemos optar por representar la información de los datos a priori mediante una distribución a priori; la distribución a priori conjugada "habitual" es la opción que da una función de verosimilitud combinada. $\text{prior}\times\text{likelihood}$ proporcional a la probabilidad combinada anterior. Véase https://en.wikipedia.org/wiki/Conjugate_prior donde esta interpretación se utiliza para dar interpretaciones de datos anteriores a los parámetros de las familias conjugadas (habituales) enumeradas.
Así que, resumiendo, las familias conjugadas habituales en las familias exponenciales pueden justificarse como priors que conducen a métodos lineales, o como priors que proceden de representar datos anteriores. Espero que esta respuesta ampliada sea de ayuda.
