Identificación de la distribución asintótica de una función de la MLE

Question

Dejemos que $X_1, X_2, \dots, X_n$ sea Bernoulli $(\theta)$ y que $\hat{\theta}$ sea la MLE de $\theta$ . Intento identificar la distribución asintótica de la razón de momios. Creo que entiendo cómo identificar la varianza asintótica de una función $\tau(\hat{\theta})$ (véase la ecuación 10.1.7 de Casella y Berger), pero no está claro (para mí) cómo identificar la media.

Por ejemplo, tomemos que la razón de probabilidades sea $\tau(\theta)$ :

$$\tau(\theta) = \frac{\hat{\theta}}{1-\hat{\theta}}$$

Se puede demostrar (Casella Berger Ex 10.1.14) que la varianza asintótica de la misma es:

$$\frac{\hat{\theta}}{n(1-\hat{\theta})^3}$$

Intuitivamente, espero que la razón de probabilidades parametrizada por la MLE sea el valor esperado límite, pero ¿cómo puedo hacer formalmente esta afirmación?

Answer 1

Creo que el método delta es una buena forma de proceder en este caso (y si estás trabajando fuera de C&B probablemente lo necesitarás para otros problemas). Deja que $X_n$ sea una secuencia de variables aleatorias que satisfagan $$ \sqrt n (X_n - \theta) \rightarrow_d \mathcal N(0, \sigma^2). $$

Dejemos que $g$ sea una función donde $g'(\theta)$ existe y es distinto de cero. Entonces $$ \sqrt n (g(X_n) - g(\theta)) \rightarrow_d \mathcal N(0, g'(\theta)^2 \sigma^2). $$

Tenemos $X_1, X_2, \dots \sim \ iid \ Bern(\theta) \implies \hat \theta = \bar X_n$ (Estoy asumiendo que es iid). $\mathbb E(X_i) = \theta < \infty$ y $Var(X_i) = \theta(1-\theta) < \infty$ así que por el CLT $$ \sqrt n (\hat \theta_n - \theta) \rightarrow_d \mathcal N(0, \theta(1-\theta)). $$

Esto significa que podemos tomar $g(x) = {x \over 1-x}$ y aplicar el método delta: $$ g'(x) = \frac{1}{(1-x)^2} $$

por lo tanto $$ \sqrt n \left(\frac{\hat \theta}{1 - \hat \theta} - \frac{\theta}{1-\theta}\right) \rightarrow_d \mathcal N\left(0, \frac{\theta(1-\theta)}{(1-\theta)^4}\right) $$

$$ =_d \mathcal N \left(0, \frac{\theta}{(1-\theta)^3} \right). $$

Answer 2

Hay varias maneras de enfocarlo, pero una cosa que podría considerar es la posibilidad de ampliar

$\qquad(1-\hat{\theta})^{-1}$

en una serie de potencias. Sin embargo, tendrás que asegurarte de que todo converge adecuadamente mientras realizas las operaciones que necesitas (por ejemplo, tienes que estar seguro de que está bien hacer la expansión en primer lugar y tomar la expectativa dentro de la serie expandida y tomar límites, etc.).

Tenga cuidado si lo hace de esta manera. (Puede haber otros enfoques mejores).

Otra posibilidad podría ser considerar el intento de aplicar el teorema de Slutsky.