¿Es posible interpretar el bootstrap desde una perspectiva bayesiana?

Question

Vale, esta es una pregunta que me quita el sueño.

¿Puede interpretarse el procedimiento bootstrap como una aproximación a algún procedimiento bayesiano (excepto el bootstrap bayesiano)?

Me gusta mucho la "interpretación" bayesiana de la estadística, que me parece muy coherente y fácil de entender. Sin embargo, también siento debilidad por el procedimiento bootstrap, que es tan sencillo y, sin embargo, proporciona inferencias razonables en muchas situaciones. Sin embargo, estaría más contento con el bootstrap si supiera que el bootstrap se aproxima a una distribución posterior en algún sentido.

Conozco el "bootstrap bayesiano" (Rubin, 1981), pero desde mi punto de vista esa versión del bootstrap es tan problemática como el bootstrap estándar. El problema es la suposición de modelo realmente peculiar que hace, tanto al hacer el bootstrap clásico como el bayesiano, es decir, que los posibles valores de la distribución son sólo los valores que ya he visto. ¿Cómo pueden estas extrañas suposiciones del modelo seguir produciendo las inferencias tan razonables que producen los procedimientos bootstrap? He estado buscando artículos que hayan investigado las propiedades del bootstrap (por ejemplo, Weng, 1989), pero no he encontrado ninguna explicación clara que me satisfaga.

Referencias

Donald B. Rubin (1981). The Bayesian Bootstrap. Ann. Statist. Volumen 9, número 1 , 130-134.

Chung-Sing Weng (1989). On a Second-Order Asymptotic Property of the Bayesian Bootstrap Mean. Los Anales de Estadística , Vol. 17, No. 2 , pp. 705-710.

Answer 1

La sección 8.4 de The Elements of Statistical Learning de Hastie, Tibshirani y Friedman es "Relación entre el Bootstrap y la Inferencia Bayesiana". Puede que sea justo lo que está buscando. Creo que este libro está disponible gratuitamente a través de un sitio web de Stanford, aunque no tengo el enlace a mano.

Editar:

Aquí hay un enlace al libro, que los autores han puesto a disposición del público en línea:

http://www-stat.stanford.edu/~tibs/ElemStatLearn/

En la página 272, los autores escriben:

En este sentido, la distribución bootstrap representa una distribución (aproximada) no paramétrica y no informativa para nuestro parámetro. Pero esta distribución bootstrap se obtiene sin dolor - sin tener que especificar formalmente una prioridad y sin tener que hacer un muestreo de la distribución posterior. Por lo tanto, podemos pensar de la distribución bootstrap como la posterior de Bayes "del hombre pobre". Mediante perturbando los datos, el bootstrap aproxima el efecto bayesiano de la perturbación de los parámetros, y suele ser mucho más sencillo de llevar a cabo. de llevar a cabo.

Una pieza más del rompecabezas se encuentra en este pregunta validada en cruz que menciona el La desigualdad Dvoretzky-Kiefer-Wolfowitz que "muestra [...] que la función de distribución empírica converge uniformemente a la función de distribución verdadera exponencialmente rápido en probabilidad".

Así que, en conjunto, el bootstrap no paramétrico podría verse como un método asintótico que produce "una distribución posterior (aproximada) no paramétrica y no informativa para nuestro parámetro" y donde esta aproximación mejora "exponencialmente rápido" a medida que aumenta el número de muestras.

Answer 2

Este es el último documento que he visto sobre el tema:

@article{efr13bay,
author={Efron, Bradley},
title={Bayesian inference and the parametric bootstrap},
journal={Annals of Applied Statistics},
volume=6,
number=4,
pages={1971-1997},
year=2012,
doi={10.1214/12-AOAS571},
abstract={Summary: The parametric bootstrap can be used for the efficient
    computation of Bayes posterior distributions. Importance sampling formulas
    take on an easy form relating to the deviance in exponential families and
    are particularly simple starting from Jeffreys invariant prior. Because of
    the i.i.d. nature of bootstrap sampling, familiar formulas describe the
    computational accuracy of the Bayes estimates. Besides computational
    methods, the theory provides a connection between Bayesian and frequentist
    analysis. Efficient algorithms for the frequentist accuracy of Bayesian
    inferences are developed and demonstrated in a model selection example.},
keywords={Jeffreys prior; exponential families; deviance; generalized linear
    models},
classmath={*62F15 (Bayesian inference)
62F40 (Resampling methods)
62J12 (Generalized linear models)
65C60 (Computational problems in statistics)}}

Answer 3

A mí también me sedujeron tanto el bootstrapping como el teorema de Bayes, pero no pude encontrar mucho sentido a las justificaciones del bootstrapping hasta que lo analicé desde una perspectiva bayesiana. Entonces -como explico a continuación- la distribución del bootstrap puede verse como una distribución posterior bayesiana, lo que hace que la (¿?) justificación del bootstrapping sea obvia, y también tuvo la ventaja de aclarar los supuestos realizados. Hay más detalles del argumento a continuación, y los supuestos realizados, en https://arxiv.org/abs/1803.06214 (páginas 22-26).

Como ejemplo, que se establece en la hoja de cálculo en http://woodm.myweb.port.ac.uk/SL/resample.xlsx (haga clic en la pestaña bootstrap en la parte inferior de la pantalla), supongamos que tenemos una muestra de 9 medidas con una media de 60. Cuando utilicé la hoja de cálculo para producir 1000 remuestreos con reemplazo a partir de esta muestra y redondeé las medias al número par más cercano, 82 de estas medias eran 54. La idea del bootstrapping es que utilizamos la muestra como una población "ficticia" para ver la probabilidad de que las medias de las muestras de 9 sean variables, por lo que esto sugiere que la probabilidad de que la media de una muestra esté 6 por debajo de la media de la población (en este caso la población ficticia basada en la muestra con una media de 60) es del 8,2%. Y podemos llegar a una conclusión similar sobre las otras barras del histograma de remuestreo.

Ahora imaginemos que la verdad es que la media de la población real es de 66. Si esto es así, nuestra estimación de la probabilidad de que la media de la muestra sea el 60 (es decir, el Dato) es del 8,2% (utilizando la conclusión del párrafo anterior y recordando que el 60 está 6 por debajo de la media poblacional hipotetizada de 66). Escribamos esto como

P(Datos dados Media=66) = 8.2%

y esta probabilidad corresponde a un valor x de 54 en la distribución del remuestreo. El mismo tipo de argumento se aplica a cada una de las posibles medias poblacionales de 0, 2, 4 ... 100. En cada caso, la probabilidad procede de la distribución de remuestreo, pero esta distribución se refleja en la media de 60.

Ahora apliquemos el teorema de Bayes. La medida en cuestión sólo puede tomar valores entre 0 y 100, por lo que, redondeando al número par más cercano, las posibilidades para la media de la población son 0, 2, 4, 6, ....100. Si suponemos que la distribución a priori es plana, cada una de ellas tiene una probabilidad a priori del 2% (a 1 dp), y el teorema de Bayes nos dice que

P(PopMean=66 dado Datos)= 8,2%*2%/P(Datos)

donde

P(Datos) = P(PopMean=0 dados Datos)*2%+ P(PopMean=2 dados Datos)*2% + ... + P(PopMean=100 dados los Datos)*2%

Ahora podemos cancelar el 2% y recordar que la suma de las probabilidades debe ser 1 ya que las probabilidades son simplemente las de la distribución de remuestreo. Lo que nos deja la conclusión de que

P(PopMean=66)=8.2%

Recordando que el 8,2% es la probabilidad de la distribución de remuestreo correspondiente a 54 (en lugar de 66), la distribución posterior es simplemente la distribución de remuestreo reflejada sobre la media de la muestra (60). Además, si la distribución del remuestreo es simétrica en el sentido de que las asimetrías son aleatorias -como ocurre en este y muchos otros casos-, podemos tomar la distribución del remuestreo como idéntica a la distribución de probabilidad posterior.

Este argumento hace varias suposiciones, la principal es que la distribución a priori es uniforme. Estos se explican con más detalle en el artículo citado anteriormente.