¿Qué significa precisamente pedir información prestada?

Question

Yo a menudo la gente les hable acerca de la información de préstamo o intercambio de información Bayesiano de modelos jerárquicos. Me parece que no puede obtener una respuesta clara acerca de lo que esto realmente significa y si es exclusivo para jerárquico Bayesiano de modelos. Yo especie de obtener la idea: algunos niveles en su jerarquía de compartir un parámetro común. No tengo idea de cómo esto se traduce a "información de endeudamiento".

1. Es "información de endeudamiento"/ "intercambio de información" en una palabra de moda a la gente le gusta tirar?

2. Hay un ejemplo con la forma cerrada posteriores que ilustra este fenómeno de compartir?

3. Es este singular para un análisis Bayesiano? Por lo general, cuando veo ejemplos de "información de endeudamiento" son sólo modelos mixtos. Tal vez me enteré de estos modelos en una manera pasada de moda, pero no veo ningún intercambio.

No estoy interesado en iniciar un debate filosófico acerca de los métodos. Yo sólo soy curioso sobre el uso de este término.

Answer 1

Este es un término que está específicamente desde empírico de Bayes (EB), de hecho el concepto que se refiere a que no existe en verdad la inferencia Bayesiana. El término original era "el endeudamiento de la fuerza", que fue acuñado por John Tukey de vuelta en la década de 1960 y se popularizó aún más por Bradley Efron y Carl Morris en una serie de estadísticos de artículos sobre Stein paradoja paramétricas y de EB en las décadas de 1970 y 1980. Muchas personas ahora usan "información de endeudamiento" o "intercambio de información" como sinónimos por el mismo concepto. La razón por la que usted puede escuchar en el contexto de los modelos mixtos es que el más común de los análisis de modelos mixtos tienen una EB de interpretación.

EB tiene muchas aplicaciones y se aplica a muchos de los modelos estadísticos, pero el contexto siempre es que usted tiene un gran número de (posiblemente independientes) de los casos y que están tratando de estimar un parámetro en particular (tales como la media o la varianza) en cada caso. En la inferencia Bayesiana, que hacer posteriores inferencias acerca de los parámetros basados en los datos observados para cada caso y el estado de la distribución de dicho parámetro. En EB inferencia de la distribución previa para el parámetro que se estima de toda la colección de datos de los casos, después de que la inferencia de que procede como para la inferencia Bayesiana. Por lo tanto, al estimar el parámetro para el caso en particular, se utiliza tanto los datos para ese caso y también el estimado antes de la distribución, y la última representa la "información" o "fuerza" que usted pide prestado de todo el conjunto de casos al hacer inferencias acerca de un caso particular.

Ahora usted puede ver por qué la EB tiene que "pedir prestado" pero la verdadera Bayes no. En cierto Bayes, el estado de la distribución ya existe, de modo que no necesitan ser rogó o pedir prestado. En EB, el estado de la distribución que se ha creado a partir de los datos observados en sí. Cuando hacemos inferencias acerca de un caso particular es el uso de la información observada a partir de ese caso, y un poco de información de cada uno de los otros casos. Nos dicen que solo es "prestado", porque la información es devuelta cuando pasamos a hacer inferencia sobre el siguiente caso.

La idea de la EB y la "información de endeudamiento" se utiliza mucho en estadística genómica, cuando cada "caso" es generalmente un gen o un genómica característica (Smyth, 2004; Phipson et al, 2016).

Referencias

Efron, Bradley, y Carl Morris. Stein paradoja en las estadísticas. Scientific American 236, no. 5 (1977): 119-127. http://statweb.stanford.edu/~ckirby/brad/otros/Article1977.pdf

Smyth, G. K. (2004). Modelos lineales y empírico de Bayes métodos para la evaluación de la expresión diferencial en los experimentos de microarrays. Aplicaciones estadísticas en la Genética y la Biología Molecular, Volumen 3, número 1, Artículo 3. http://www.statsci.org/smyth/pubs/ebayes.pdf

Phipson, B, Lee, S, Majewski, IJ, Alejandro, derecho por el LR, y Smyth, GK (2016). Robusto hyperparameter estimación protege contra hipervariable genes y mejora la capacidad de detección de la expresión diferencial. Anales de la Estadística Aplicada 10, 946-963. http://dx.doi.org/10.1214/16-AOAS920

Answer 2

Considere la posibilidad de un problema simple como la estimación de medios de varios grupos. Si su modelo trata como totalmente ajena a continuación, la única información que se tiene sobre cada media es la información dentro de ese grupo. Si el modelo que trata a sus medios como algo relacionado (como en algunos de efectos mixtos tipo de modelo), a continuación, las estimaciones serán más precisos ya que la información de otros grupos de informa (regulariza, se encoge hacia un bien común decir) la estimación de un grupo dado. Ese es un ejemplo de endeudamiento de la información".

La noción de cultivos en actuarial de trabajo relacionados con la credibilidad (no necesariamente con ese término específico de "préstamos" a pesar de que el endeudamiento en ese sentido, es explícito en las fórmulas); esto se remonta un largo camino, al menos hace un siglo, con claros precursores de ir de nuevo a mediados del siglo xix. Por ejemplo, ver Longley-Cook, L. H. (1962) Una introducción a la teoría de la credibilidad de PCA, 49, 194-221.

Aquí Whitney, 1918 (La Teoría de la Calificación de la Experiencia, PCAS, 4, 274-292):

Aquí es un riesgo, para instancia, que es claramente a ser clasificados como un máquina tienda. En el ausencia de otros información es debe por lo tanto falso el máquina tienda tasa de es decir, el promedio la tasa de para todos riesgos de este clase. En el otros de la mano el riesgo ha había un experiencia de su propio. Si el riesgo es grande, este puede ser un mejor guía a su peligro de el clase de experiencia. En cualquier evento, si el riesgo es grandes o pequeño, ambos de estos elementos han su valor como la evidencia, y ambos debe ser tomado en cuenta. El dificultad surge de el hecho que en general el la evidencia es contradictorio; el problema por lo tanto es a encontrar y aplicar un criterio que se dar cada su adecuado de peso.

Mientras que el término de endeudamiento está ausente aquí la idea de utilizar el grupo de información a nivel de informarnos acerca de esta máquina de la tienda es claramente no. [Las nociones permanecen inalteradas cuando los "préstamos de la fuerza" y que "pedir prestado" información de empezar a aplicarse a esta situación]

Answer 3

La más conocida modelo que "toma prestado de la información" es la de un modelo de efectos mixtos. Esto puede ser analizado en el Frecuentista o Bayesiana de la configuración. El método Frecuencial, en realidad tiene una Empírico de Bayes interpretación; hay un antes en el de efectos mixtos, que basados en $\sigma_R^2$, la varianza de los efectos aleatorios. En lugar de configuración basado en la información anterior, podemos estimar a partir de nuestros datos.

Por otro lado, desde la perspectiva Bayesiana, estamos no poner un antes en el de efectos mixtos, sino que son de un nivel medio de parámetros. Es decir, ponemos un antes en $\sigma_R^2$, que actúa entonces como un host de hyper-parámetros de los efectos aleatorios, pero es diferente que los de antes en que la distribución de colocados en el de efectos aleatorios, no se basa puramente en la información previa, sino más bien una mezcla de información previa (es decir, antes de la en $\sigma_R^2$) y la de datos.

Creo que es bastante claro que "el endeudamiento de la información" no es algo puramente Bayesiano; las hay que no Bayesiano de modelos de efectos mixtos y estos prestado de la información. Sin embargo, basado en mi experiencia jugando con modelos de efectos mixtos, creo enfoque Bayesiano para estos modelos es un poco más importante que algunas personas se dan cuenta. En particular, en un modelo de efectos mixtos, uno debe pensar que estamos estimando $\sigma_R^2$ , en el mejor, el número de sujetos individuales que tenemos. Así que si tenemos 10 temas se midieron 100 veces, todavía estamos estimando $\sigma_R^2$ desde sólo 10 temas. No sólo eso, sino que en realidad no observar los efectos aleatorios directamente, sino que sólo tenemos estimaciones de los que se derivan de los datos y $\sigma_R$ a sí mismos. Así que puede ser fácil de olvidar lo poco de información basada en los datos para estimar el $\sigma_R^2$. Al menos la información de los datos, el más importante de la información previa se convierte en. Si no lo has hecho aún, te sugiero tratando de simular modelos de efectos mixtos con sólo un par de temas. Te sorprenderás de cuán inestable las estimaciones de Frecuentista métodos son, especialmente cuando se añade a sólo uno o dos valores atípicos...y con qué frecuencia puede uno ver real de los conjuntos de datos sin valores atípicos? Creo que este tema está cubierto en Bayesiano Análisis de los Datos por Gelman et al, pero, lamentablemente, no creo que su público disponible por lo que no hipervínculo.

Finalmente, los modelos multinivel no es sólo de efectos mixtos, aunque son los más comunes. Cualquier modelo en el que los parámetros están influenciados no sólo por los priores y los datos, sino también otros parámetros desconocidos puede ser llamado un modelo multinivel. Por supuesto, este es un muy flexible conjunto de modelos, pero pueden escrito desde cero y ajuste con una cantidad mínima de trabajo, utilizando herramientas como Stan, ÁGIL, ENTRECORTADO, etc. En esta medida, no estoy seguro de que me diría que los modelos multinivel es "hype"; básicamente, usted puede escribir cualquier modelo que puede ser representado como un Gráfico Acíclico Dirigido y ajuste de inmediato (suponiendo que tenga un razonable tiempo de ejecución, que es). Esto le da mucho más poder y el potencial de creatividad de opciones tradicionales (es decir, el modelo de regresión de paquetes) sin embargo, no es necesario uno para construir todo un paquete de R desde cero sólo para adaptarse a un nuevo tipo de modelo.

Answer 4

Estoy asumiendo, desde que has etiquetado de aprendizaje de la máquina que usted está interesado en la predicción, en lugar de inferencia.(Creo que estoy alineado con @Glen_b 's respuesta, pero sólo en la traducción de este contexto y/o vocabulario)

Sostengo que en este caso es la palabra de moda. Una de regularización, el modelo lineal con una variable de grupo va a pedir prestado de la información: la predicción a nivel individual será una combinación de la media del grupo y el efecto individual. Una manera de pensar de l1/l2 regularización es que es la asignación de un coeficiente de costo por reducción en el total de error, ya que un grupo variable afecta a más muestras de una de las variables, habrá presión para la estimación de un efecto de grupo,dejando una menor desviación de efecto de grupo para cada una de las variables.

Para puntos individuales con datos suficientes, el efecto individual de ser 'fuerte ', para aquellos con pocos datos, el efecto será débil.

Creo que la forma más sencilla de ver esto es considerando L1 regularización y 3 individuos de un mismo grupo, con el mismo efecto. Unregularised, el problema tiene un infinito número de soluciones, mientras que la regularización da una solución única.

La asignación de todo el efecto para el grupo de coeficiente tiene el menor l1 norma, ya que sólo necesitamos el valor de 1 para cubrir 3 personas. Por el contrario,la asignación de todo el efecto de los coeficientes individuales tiene el peor de los casos, es decir, 3 veces la l1 norma de asignar el efecto para el grupo de coeficiente.

Nota: se pueden tener tantas jerarquías como queremos, y las interacciones se ven afectados de manera similar: la regularización de empuje efectos principales de las variables,en lugar de la más rara de las interacciones.

El blog tjmahr.com/plotting-partial-pooling-in-mixed-effects-models. – unidos por @IsabellaGhement da una cita para el endeudamiento de la fuerza

"Este efecto es a veces llamada la contracción, porque más extrema de los valores de contracción son atraídos hacia un más razonable, más valor promedio. En el lme4 libro, Douglas Bates ofrece una alternativa a la contracción [nombre]"

El término "contracción" puede tener connotaciones negativas. John Tukey preferido para referirse a procesos como las estimaciones para el individuo los sujetos, los "préstamos fuerza" de cada uno de los otros. Este es un elemento fundamental la diferencia en los modelos subyacentes de modelos de efectos mixtos frente a estrictamente modelos de efectos fijos. En un modelo de efectos mixtos suponemos que los niveles de un factor de la agrupación son una selección de una población y, como resultado, se puede esperar que comparten características en algún grado. En consecuencia, las predicciones de un modelo de efectos mixtos son atenuada en relación a los de la fijada estrictamente modelos de efectos.

Answer 5

Otra fuente me gustaría recomendar sobre este tema que me parece particularmente instructivo es David Robinson Introducción para Empírico de Bayes.

Su ejemplo es que si un jugador de béisbol te las arreglas para golpear la siguiente bola que le echen. La idea clave es que si un jugador ha estado alrededor por años, uno tiene una idea bastante clara de lo capaz que es y, en particular, uno puede utilizar su observó promedio de bateo como una muy buena estimación de la probabilidad de éxito en el siguiente lanzamiento.

Por el contrario, un jugador que acaba de empezar a jugar en una liga que todavía no ha revelado mucho de su talento todavía. Así que parece una buena opción para ajustar la estimación de su probabilidad de éxito para el logro de algunos de la media global de si ha sido particularmente exitosos o fracasados en sus primeros juegos, como es probable, al menos en cierta medida, debido a la buena o la mala suerte.

Como un punto menor, el término "préstamo" ciertamente no parece ser utilizado en el sentido de que algo que ha sido tomado tendría que ser devuelto en algún momento ;-).