Intervalo de confianza del RMSE

Question

He tomado una muestra de $n$ puntos de datos de una población. Cada uno de estos puntos tiene un valor verdadero (conocido a partir de la verdad básica) y un valor estimado. A continuación, calculo el error de cada punto muestreado y luego calculo el RMSE de la muestra.

¿Cómo puedo inferir algún tipo de intervalo de confianza alrededor de este RMSE, basado en el tamaño de la muestra? $n$ ?

Si utilizara la media, en lugar del RMSE, no tendría problemas para hacerlo, ya que puedo utilizar la ecuación estándar

$m = \frac{Z \sigma}{\sqrt{n}}$

pero no sé si esto es válido para el RMSE y no para la media. ¿Hay alguna manera de adaptar esto?

(He visto esta pregunta (pero no tengo problemas con que mi población esté normalmente distribuida, que es de lo que trata la respuesta)

Answer 1

Es posible que pueda responder a su pregunta bajo ciertas condiciones.

Dejemos que $x_{i}$ sea su verdadero valor para el $i^{th}$ punto de datos y $\hat{x}_{i}$ el valor estimado. Si suponemos que las diferencias entre los valores estimados y los verdaderos tienen

1. media cero (es decir, la $\hat{x}_{i}$ se distribuyen alrededor de $x_{i}$ )

2. siguen una distribución normal

3. y todos tienen la misma desviación estándar $\sigma$

en pocas palabras:

$$\hat{x}_{i}-x_{i} \sim \mathcal{N}\left(0,\sigma^{2}\right),$$

entonces realmente se quiere un intervalo de confianza para $\sigma$ .

Si se cumplen los supuestos anteriores $$\frac{n\mbox{RMSE}^{2}}{\sigma^{2}} = \frac{n\frac{1}{n}\sum_{i}\left(\hat{x_{i}}-x_{i}\right)^{2}}{\sigma^{2}}$$ sigue un $\chi_{n}^{2}$ distribución con $n$ (no $n-1$ ) grados de libertad. Esto significa que

$$\begin{align} P\left(\chi_{\frac{\alpha}{2},n}^{2}\le\frac{n\mbox{RMSE}^{2}}{\sigma^{2}}\le\chi_{1-\frac{\alpha}{2},n}^{2}\right) = 1-\alpha\\ \Leftrightarrow P\left(\frac{n\mbox{RMSE}^{2}}{\chi_{1-\frac{\alpha}{2},n}^{2}}\le\sigma^{2}\le\frac{n\mbox{RMSE}^{2}}{\chi_{\frac{\alpha}{2},n}^{2}}\right) = 1-\alpha\\ \Leftrightarrow P\left(\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\le\sigma\le\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right) = 1-\alpha. \end{align}$$

Por lo tanto, $$\left[\sqrt{\frac{n}{\chi_{1-\frac{\alpha}{2},n}^{2}}}\mbox{RMSE},\sqrt{\frac{n}{\chi_{\frac{\alpha}{2},n}^{2}}}\mbox{RMSE}\right]$$ es su intervalo de confianza.

Aquí tienes un programa en python que simula tu situación

from scipy import stats
from numpy import *
s = 3
n=10
c1,c2 = stats.chi2.ppf([0.025,1-0.025],n)
y = zeros(50000)
for i in range(len(y)):
    y[i] =sqrt( mean((random.randn(n)*s)**2))

print "1-alpha=%.2f" % (mean( (sqrt(n/c2)*y < s) & (sqrt(n/c1)*y > s)),)

Espero que eso ayude.

Si no estás seguro de si los supuestos se aplican o si quieres comparar lo que he escrito con un método diferente, siempre puedes probar bootstrapping .

Answer 2

El razonamiento en el respuesta de fabee parece correcto si se aplica al STDE (desviación estándar del error), no al RMSE. Utilizando una nomenclatura similar, $i=1,\,\ldots,\,n$ es un índice que representa cada registro de datos, $x_i$ es el valor verdadero y $\hat{x}_i$ es una medida o predicción.

El error $\epsilon_i$ , BIAS, MSE (error medio cuadrático) y RMSE vienen dados por: $$\epsilon_i = \hat{x}_i-x_i\,,\\ \text{BIAS} = \overline{\epsilon} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i\,,\\ \text{MSE} = \overline{\epsilon^2} = \frac{1}{n}\sum_{i=1}^{n}\epsilon_i^2\,,\\ \text{RMSE} = \sqrt{\text{MSE}}\,.$$

De acuerdo con estas definiciones, el BIAS corresponde a la media muestral de $\epsilon$ pero el MSE no es la varianza de la muestra sesgada. En cambio: $$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2} = \frac{1}{n}\sum_{i=1}^{n}(\epsilon_i-\overline{\epsilon})^2\,,$$ o, si se calculan tanto el BIAS como el RMSE, $$\text{STDE}^2 = \overline{(\epsilon-\overline{\epsilon})^2}=\overline{\epsilon^2}-\overline{\epsilon}^2 = \text{RMSE}^2 - \text{BIAS}^2\,.$$ Tenga en cuenta que el varianza de la muestra sesgada se utiliza en lugar del imparcialidad para mantener la coherencia con las definiciones anteriores dadas para el MSE y el RMSE.

Así, en mi opinión, los intervalos de confianza establecidos por fabee se refieren a la desviación estándar de la muestra de $\epsilon$ , STDE. Del mismo modo, pueden establecerse intervalos de confianza para el BIAS basados en la puntuación z (o en la puntuación t si $n<30$ ) y $\left.\text{STDE}\middle/\sqrt{n}\right.$ .

Answer 3

Después de Faaber 1999 la incertidumbre del RMSE viene dada por $$\sigma (\hat{RMSE})/RMSE = \sqrt{\frac{1}{2n}}$$ donde $n$ es el número de puntos de datos.

Answer 4

Tomando prestado el código del enlace de @Bryan Shalloway ( https://gist.github.com/brshallo/7eed49c743ac165ced2294a70e73e65e que se encuentra en el comentario del respuesta aceptada ), puede calcularlo en R con el valor del RMSE y los grados de libertad, que @fabee sugiere que sean n (no n-1) en este caso.

La función R:

rmse_interval <- function(rmse, deg_free, p_lower = 0.025, p_upper = 0.975){
  tibble(.pred_lower = sqrt(deg_free / qchisq(p_upper, df = deg_free)) * rmse,
         .pred_upper = sqrt(deg_free / qchisq(p_lower, df = deg_free)) * rmse)
}

Un ejemplo práctico: Si tengo un valor de RMSE de 0,3 y se han utilizado 1000 muestras para calcular ese valor, puedo hacer

rmse_interval(0.3, 1000)

que volvería:

    # A tibble: 1 x 2
  .pred_lower .pred_upper
        <dbl>       <dbl>
1       0.287       0.314