El (frecuentista) bootstrap toma los datos como una aproximación razonable a lo desconocido distribución de la población. Por lo tanto, la distribución de muestreo de un estadístico (en función de los datos) puede ser aproximada por repetidamente remuestreo de las observaciones con el reemplazo de la informática y la estadística para cada muestra.
Deje $y = (y_1,\ldots,y_n)$ el valor de los datos originales. (En el ejemplo dado, $n=5$.) Deje $y^b = (y_1^b, \ldots, y_n^b)$ el valor de bootstrap de la muestra. Un ejemplo es probable que tenga algunas observaciones repetido una o más veces y otras observaciones que va a estar ausente. La media de la secuencia de arranque de la muestra está dado por $$m_b = \frac{1}{n} \sum_{i=1}^n y_i^b.$$ It is the distribution of $m_b$ más de un número de replicaciones bootstrap que se utiliza para aproximar la distribución de muestreo de la desconocido de la población.
En orden a entender la conexión entre la frecuentista bootstrap y el Bayesiano bootstrap, es instructivo ver cómo calcular $m_b$ desde una perspectiva diferente.
En cada uno de bootstrap de la muestra $y^b$, cada observación $y_i$ se produce en cualquier lugar de 0 a $n$ veces. Deje $h_i^b$ denotar el número de veces que $y_i$ se produce en $y^b$, y deje $h^b = (h_1^b, \ldots, h_n^b)$. Por lo tanto $h_i^b \in \{0, 1, \ldots, n-1,n\}$$\sum_{i=1}^n h_i^b = n$. Dado $h^b$, se puede construir una colección de no negativo de pesos que se suma a uno: $w^b = h^b/n$ donde $w_i^b = h_i^b/n$. Con esta notación podemos reexpresar la media de la secuencia de arranque de la muestra
$$
m_b = \sum_{i=1}^n w_i^b\, y_i.
$$
La forma en que las observaciones son elegidos por un bootstrap de la muestra determina la distribución conjunta de $w^b$. En particular, $h^b$ tiene una distribución multinomial y por lo tanto $$(n\,w^b) \sim \textsf{Multinomial}(n,(1/n)_{i=1}^n).$$ Therefore, we can compute $m_b$ by drawing $w^b$ from its distribution and computing the dot product with $$ y. Desde esta nueva perspectiva, parece que las observaciones son fijos , mientras que los pesos son diferentes.
En la inferencia Bayesiana, las observaciones son de hecho tomada como fijo, por lo que esta nueva perspectiva parece agradable para el enfoque Bayesiano. De hecho, el cálculo de la media de acuerdo a la Bayesiana bootstrap difiere sólo en la distribución de los pesos. (No obstante, desde un punto de vista conceptual el Bayesiano bootstrap es bastante diferente de la frecuentista versión). Los datos de $y$ son fijos y los pesos $w$ son los parámetros desconocidos. Podemos estar interesado en algunas funcional de los datos que depende de los parámetros desconocidos:
$$
\mu = \sum_{i=1}^n w_i\, y_i.
$$
Aquí hay un dibujo en miniatura del modelo detrás de la Bayesiano bootstrap: La distribución muestral de las observaciones es multinomial y el estado de los pesos es una limitante de la distribución Dirichlet que pone todo su peso sobre los vértices del simplex. (Algunos autores se refieren a este modelo como el modelo de probabilidad multinomial.)
Este modelo se presenta de la siguiente distribución posterior de los pesos:
$$
w \sim \textsf{Dirichlet}(1,\ldots,1).
$$
(Esta distribución es plana por la cara.) Las dos distribuciones para los pesos (frecuentista y Bayesiano) son bastante similares: tienen los mismos medios y similares covarianzas. La distribución Dirichlet es 'suave' de la distribución multinomial, por lo que el Bayesiano bootstrap puede ser llamada el alisado de bootstrap. Podemos interpretar la frecuentista bootstrap como una aproximación a la Bayesiano de bootstrap.
Dada la posterior distribución de los pesos, podemos aproximar la distribución posterior de la funcional $\mu$ por muestreo repetido $w$ de su distribución Dirichlet y calculando el producto escalar con $y$.
Podemos adoptar el marco de la estimación de ecuaciones
$$
\sum_{i=1}^n w_i\, g(y_i,\theta) = \subrayado 0,
$$
donde $g(y_i,\theta)$ es un vector de la estimación de funciones que depende del parámetro desconocido (vector) $\theta$ $\underline 0$ es un vector de ceros. Si este sistema de ecuaciones tiene una solución única para$\theta$$y$$w$, entonces podemos calcular su posterior distribución por el dibujo de $w$ de su posterior distribución y la evaluación de la solución. (El marco de la estimación de ecuaciones se utiliza con probabilidad empírica y con el método generalizado de momentos (GMM).)
El caso más sencillo es el que ya hemos tratado:
$$
\sum_{i=1}^n w_i\,(y_i - \mu) = 0.
$$
Para la media y la varianza, $\theta = (\mu,v)$ hemos
$$
g(y_i,\theta) = \begin{pmatrix}
y_i - \mu \\
(y_i - \mu)^2 - v
\end{pmatrix}.
$$
La configuración es un poco más complicado que el de la frecuentista de bootstrap, que es la razón por la Bayesiano puede adoptar la frecuentista bootstrap como una aproximación rápida.
