Conexión entre bootstrap (tanto paramétrico como no paramétrico) y máxima verosimilitud

Question

¿Alguien puede mostrarme cuál es la conexión entre los métodos de arranque y la máxima verosimilitud?

Me dijeron que a medida que el número de bootstraps llega al infinito, las estadísticas como los intervalos de confianza, la media, la varianza y la estabilidad son los mismos valores que estimaría la máxima verosimilitud.

Answer 1

A partir de la página 267 de Elementos de Aprendizaje Estadístico:

8.2.3 Bootstrap frente de Máxima Verosimilitud

En esencia, el bootstrap es un equipo de implementación de la paramétrico o no paramétrico de máxima verosimilitud. La ventaja de los archivos de inicio sobre el máximo de probabilidad de la fórmula que nos permite calcular la probabilidad máxima de las estimaciones de los errores estándar y otras cantidades en lugares donde no hay fórmulas disponibles. En nuestro ejemplo, supongamos que tenemos de forma adaptativa elegir por validación cruzada el número y la posición de los nodos que definen el B-splines, en lugar de fijar con antelación. Denotar por λ la colección de nudos y sus posiciones. A continuación, los errores estándar y la confianza de las bandas deben tener en cuenta para la adaptación de la elección de λ, pero no hay manera de hacer esto de manera analítica. Con el bootstrap, se calculan las B-spline suave, con una adaptación de la elección de los nudos para cada bootstrap de la muestra. Los percentiles de la resultante de las curvas de capturar la variabilidad tanto del ruido en los objetivos, así como que a partir de ˆλ. En este ejemplo en particular la confianza de bandas (no se muestra) no se ven muy diferentes de las de los fijos λ bandas. Pero en otros problemas, donde más de la adaptación es usado, esto puede ser un efecto importante a la captura.