Incluir incertidumbre del modelo en la minimización de cuadrados mínimos no lineales

Question

El problema

Tengo datos experimentales $Y$ con incertidumbres heterocedásticas y distribuidas normalmente caracterizadas por la matriz de covarianza $C_{exp}$. Quiero ajustar los datos utilizando el modelo $F(X, \beta)$ donde $F$ es una función no lineal que mapea la variable independiente $X$ en la curva teórica $\hat{Y}$ usando un vector de parámetros $\beta$.

La función del modelo $F(X, \beta)$ tiene la siguiente forma:

$F(X, \beta) = \beta_1S_1(X) + \beta_2S_2(X) + \beta_3f(X,\beta_4,\beta_5)$

donde $\{\beta_i\}$ es el conjunto de parámetros que intento determinar a partir del ajuste; $S_1$ y $S_2$ son curvas que fueron medidas independientemente y se caracterizan con matrices de covarianza $C_1$ y $C_2$, respectivamente; $f(X,\beta_4,\beta_5)$ es una función teórica no lineal.

$C_{exp}$, $C_1$ y $C_2$ son tres matrices diferentes de rango completo y definitivas positivas.

Cada uno de los parámetros en el conjunto $\{\beta_i\}$ es importante, es decir, ninguno de ellos es un parámetro llamado de molestia.

Para ajustar los datos, es necesario construir y minimizar una función $\chi^2$ que normalmente se ve así:

$\chi^2 = (F(X,\beta) - Y)^T C_{exp}^{-1} (F(X,\beta) - Y)$

El problema con este enfoque es que no incluye incertidumbres del modelo - recordemos las curvas $S_1$ y $S_2$ que tienen incertidumbres no despreciables caracterizadas con covarianzas $C_1$ y $C_2$. Por lo tanto, la minimización de este $\chi^2$ generalmente no producirá valores óptimos correctos y los intervalos de confianza asociados.

La pregunta

¿Cómo construyo mi función $\chi^2$ (costo/objetivo) teniendo en cuenta que porciones del modelo tienen incertidumbre?

Mi solución propuesta

La idea es construir una matriz de covarianza total y usarla en la definición de $\chi^2$. Dado que $S_1$ y $S_2$ entran en el modelo de forma aditiva y $\beta_1$ y $\beta_2$ son parámetros de escala para estas curvas, la covarianza total se puede definir de la siguiente manera:

$C_{tot} = C_{exp} + \beta_1^2C_1 + \beta_2^2C_2$

El nuevo $\chi^2$ se definirá de la siguiente manera:

$\chi^2 = (F(X,\beta) - Y)^T C_{tot}^{-1} (F(X,\beta) - Y)$

¿Te parece que se trata de un enfoque válido? ¿Podría alguien recomendar alguna buena literatura sobre el tema de combinar incertidumbre del modelo y experimental?

Gracias.

Answer 1

Considere el modelo de regresión no lineal

$$y_i = \beta^0_1 s(x_i,\lambda^0) + \beta_2^0 f(x_i,\beta^0_3) + \epsilon_i$$

donde se asume que $s(x,\lambda)$ y $f(x,\beta_3)$ son funciones conocidas y el superíndice en los parámetros indica los valores verdaderos para los parámetros. La suposición de identificación estándar es que

$$\mathbb E[y_i\lvert x_i] = \beta^0_1 s(x_i,\lambda^0) + \beta_2^0 f(x_i,\beta^0_3).$$

Claramente, dependiendo de las suposiciones de la forma funcional para $s$ y $f$, la identificación puede o no estar presente. Con $s=f$ por supuesto no está presente. Pero aquí hay un ejemplo donde funciona

set.seed(1)
N <- 10000
x1 <- rnorm(N)
x2 <- rnorm(N)
e <- rnorm(N)
b1 <- 1
lambda <- 0.5
b2 <- 1
b3 <- 0.1

y <- b1 * sin(lambda*x1) + b2 * exp(b3*x2) + e

g <- function(p)
    {   
        lambda <- p[1]
        b3 <- p[2]
        a1 <- sin(lambda*x1)
        a2 <- exp(b3*x2)
        model <- lm(y~a1+a2-1)
        error <- sum(model$residual^2)
        return(error)
    }

g(p=c(0.5,0.1))
nlm(g,p=c(lambda=1,b3=1),stepmax=0.3)

Si este enfoque no es una opción, entonces considere el modelo donde

$$\mathbb E[y_i\lvert x_i] = \beta^0_1 s(x_i) + \beta_2^0 f(x_i,\beta^0_3).$$

por el bien del ejemplo, asumamos que la bondadosa diosa de la verdad te otorga conocimiento de $\beta_3^0$, ahora todo lo que tienes que hacer es calcular $f(x_i,\beta_3^0)$ y luego ejecutar la regresión lineal

$$y_i = \beta^0_1 s(x_i) + \beta_2^0 f(x_i,\beta^0_3) + \epsilon_i$$

sin embargo, no puedes hacer esto porque no conoces $s(x_i)$ sino solo algunas mediciones de salida

$$\hat s_i = s(x_i) + u_i$$

donde asumimos que $u_i$ es independiente del valor real $s(x_i)$. Sustituir $s(x_i)=\hat s_i - u_i$ en la regresión te da

$$y_i = \beta^0_1 (\hat s_i - u_i) + \beta_2^0 f(x_i,\beta^0_3) + \epsilon_i$$ implicando que

$$y_i = \beta^0_1 \hat s_i + \beta_2^0 f(x_i,\beta^0_3) + \underbrace{(-\beta_1^0 u_i +\epsilon_i)}_{:=v_i}$$

donde $cov(\hat s_i,v_i) \not= 0$ por lo que te enfrentas a un problema de regresores endógenos que, como es bien sabido, no solo implica una estimación incorrecta de la varianza sino que implica que el estimador de MCO no es consistente. En modelos no lineales del tipo que parece estar sugiriendo, la estimación también se realiza minimizando la suma de errores cuadrados bajo la misma suposición de identificación de que el modelo captura correctamente la media condicional. Por lo tanto, los regresores endógenos que pueden estar presentes en el caso de un error de medición potencialmente conducen a un estimador inconsistente.

El punto es que sin más suposiciones (que las que ha especificado en su pregunta), una fórmula como

$$C_{tot} = algo$$

para simplemente corregir la varianza parece un pensamiento ilusorio en el sentido de que el problema podría ser peor en forma de un estimador inconsistente.

Por supuesto, una suposición que podría hacer es asumir que la función $s()$ es desconocida y asumir que

$$\hat s_i = s(x_i) + u_i,$$

donde $u_i$ es independiente de $\hat s_i$ pero en ese caso tampoco necesitas corregir la varianza.

Creo que el siguiente artículo proporciona un buen lugar para comenzar Modelos no lineales de errores de medición por XIAOHONG CHEN y HAN HONG y DENIS NEKIPELOV.