Regresión lineal con ruido shot

Question

Estoy buscando la estadística de la terminología para describir el problema siguiente.

Quiero caracterizar un dispositivo electrónico que tiene una respuesta lineal

$Y = \beta_0 + \beta_1 X + \epsilon$

donde $\epsilon \sim N(0,\sigma^2_{ro})$ es un término debido a la lectura de ruido del dispositivo. Con el fin de determinar $\beta_0, \beta_1, \sigma^2_{ro}$ me gustaría medir una serie de respuestas $\{X_i,Y_i\}$ y aplicar el estándar de la regresión lineal cuadro de herramientas. Pero yo no sé cuál es la $X_i$ son exactamente, porque yo uso una fuente que se ve afectado por el ruido de disparo. Es decir, que yo sé que si yo ponga el dial en la fuente para un cierto valor de $J_i$ $X_i \sim N(\mu, \mu)$ (una Gaussiana con media de $\mu$ y la varianza $\mu$).

Esto parece un errores en las variables del modelo de regresión lineal (http://en.wikipedia.org/wiki/Errors-in-variables_models), donde no por el hecho de que en el fin de caracterizar mi dispositivo en toda su gama de entrada, durante las mediciones tengo que cambiar el valor de $J_i$, y ahora la varianza de la $X_i$ no es fijo, sino que depende de $X_i$ (a través de J_i), aunque, debido al ruido de disparo si $X_i=X_j$ esto no significa que la varianza de $X_i$ es igual a la varianza de $X_j$.

¿Qué es este modelo llamado, y hay artículos donde puedo encontrar este problema es abordado? O soy yo la formulación de mal manera?

Answer 1

El modelo de probabilidad para tales ruido de disparo es

$$X \sim \text{Poisson}(\mu),\quad Y|X \sim \text{Normal}(\beta_0+\beta_1 X, \sigma^2).$$

A good estimate of $\mu$ is the mean of $X$ and a good estimate of $(\beta_0, \beta_1)$ is afforded by ordinary least squares, because the values of $Y$ are assumed independent, identically distributed, and normal.

The estimate of $\sigma^2$ given by OLS is inappropriate here, though, due to the randomness of $X$. The maximum likelihood estimate is

$$s^2 = \frac{S_{xy}^2 - 2 S_x S_y S_{xy} + S_{xx}\left(S_y^2 - S_{yy}\right) + S_x^2 S_{yy}}{S_x^2 - S_{xx}}.$$

In this notation, $S_x$ is the mean $X$ value, $S_{xy}$ is the mean of the products of the $X$ and $Y$ values, etc.

We can expect the standard errors of estimation in the two approaches (OLS, which is not quite right, and MLE as described here) to differ. There are various ways to obtain ML standard errors: consult a reference. Because the log likelihood is relatively simple (especially when the Poisson$(\mu)$ distribution is approximated by a Normal$(\mu,\mu)$ distribution for large $\mu$), these standard errors can be computed in closed form if one desires.

---

As a worked example, I generated $12$ $X$ values from a Poisson$(100)$ distribution:

94,99,106,87,91,101,90,102,93,110,97,123

Then, setting $\beta_0=3$, $\beta_1=1/2$, and $\sigma=1$, I generated $12$ corresponding $Y$ values:

47.4662,53.5622,54.6656,45.3592,49.0347,53.8803,48.3437,54.2255,48.4506,58.6761,50.7423,63.9922

The mean $X$ value equals $99.4167$, the estimate of $\mu$. The OLS results (which are identical to the MLE of the coefficients) estimate $\beta_0$ as $1.24$ and $\beta_1$ as $0.514271$. It is no surprise the estimate of the intercept, $\beta_0$, departs from its true value of $3$, because these $X$ values stay far from the origin. The estimate of the slope, $\beta_1$, is close to the true value of $0.5$.

The OLS estimate of $\sigma^2$, however, is $0.715$, less than the true value of $1$. The MLE of $\sigma^2$ works out to $0.999351$. (Es un accidente que ambas estimaciones son bajos y que el MLE es mayor que la estimación OLS.)

La línea es el OLS ajuste y la estimación por máxima verosimilitud de la articulación de Poisson de probabilidad Normal de modelo.