Este es mi intento de explicación:
A) Se puede intuir la precisión en el contexto del error de medición. Supongamos que se mide una cantidad de interés con un instrumento de medición (por ejemplo, medir una distancia con una cinta métrica). Si se realizan varias mediciones de la cantidad de interés con el mismo instrumento de medición, es probable que se produzca una variación en los resultados, es decir, un error de medición. Estos errores suelen estar bien aproximados por una distribución normal. El parámetro de precisión de una distribución normal le indica lo "precisas" que son sus mediciones en el sentido de tener errores mayores o menores. Cuanto mayor sea la precisión, más precisa será la medición y, por tanto, menores serán los errores (y viceversa).
B) La razón por la que a veces se prefieren las matrices de precisión a las matrices de covarianza se debe a la comodidad analítica y computacional: son más sencillas de trabajar. Por eso las distribuciones normales se parametrizaban clásicamente mediante el parámetro de precisión en el contexto bayesiano antes de la revolución informática, cuando los cálculos se hacían a mano. La parametrización sigue siendo relevante hoy en día cuando se trabaja con varianzas muy pequeñas, ya que ayuda a abordar el desbordamiento en los cálculos numéricos.
La simplicidad de la alternativa también puede ilustrarse comparando las densidades de ambas parametrizaciones. Obsérvese a continuación cómo el uso de $\tau = \frac{1}{\sigma^2}$ elimina la necesidad de dividir por un parámetro. En un contexto bayesiano (cuando los parámetros se tratan como variables aleatorias) la división por un parámetro puede hacer que el cálculo de las distribuciones posteriores sea doloroso.
$$p_Y(y; \mu, \sigma) = \frac{1}{\sigma\sqrt{2\pi}}e^{-\frac{1}{2}(\frac{y-\mu}{\sigma})^2}$$
$$p_Y(y; \mu, \tau) = \sqrt{\frac{\tau}{2\pi}}e^{-\frac{1}{2}\tau(y - \mu)^2}$$