Cuando (y por qué) ¿Bayesians rechazar válido Bayesiano métodos?

Question

Por lo que he leído y de las respuestas a otras preguntas que me han preguntado aquí, muchos de los así llamados frecuentista métodos corresponden matemáticamente (no me importa si ellos corresponden filosóficamente, sólo me importa si corresponde matemáticamente) para casos especiales de los llamados métodos Bayesianos (para los que se oponen a esto, vea la nota en la parte inferior de esta pregunta). Esta respuesta a una pregunta relacionada (no la mía), apoya esta conclusión:

La mayoría de los Frecuentista métodos tienen un Bayesiano equivalente que en la mayoría de los casos se dan esencialmente el mismo resultado.

Tenga en cuenta que en lo que sigue, siendo matemáticamente el mismo significa dar el mismo resultado. Si usted caracterizar dos métodos que puede ser probado a dar siempre el mismo resultado como "diferentes", que es su derecho, pero que es un juicio filosófico, no es matemático ni una práctica.

Muchas personas que se auto-describen como "Bayesians", sin embargo, parecen rechazar el uso de la estimación de máxima verosimilitud bajo ninguna circunstancia, incluso a pesar de que es un caso especial de (matemáticamente) Bayesiano métodos, porque es un "frecuentista método". Al parecer Bayesians también uso restringido/número limitado de distribuciones en comparación con frequentists, aunque estas distribuciones también sería matemáticamente correcto desde un punto de vista Bayesiano.

Pregunta: ¿Cuándo y por qué hacer Bayesians rechazar los métodos que son matemáticamente correctos desde un punto de vista Bayesiano? ¿Hay alguna justificación para ello que no es "filosófica"?

Antecedentes/Contexto: Las siguientes son citas de las respuestas y comentarios a una pregunta anterior de la mina en CrossValidated:

La base matemática para el Bayesiano vs frecuentista debate es muy simple. En la estadística Bayesiana el parámetro desconocido es tratada como una variable aleatoria; en la estadística frecuentista es tratada como un elemento fijo...

De lo anterior me habría concluido que (matemáticamente hablando) Bayesiano métodos son más general que frecuentista, en el sentido de que frecuentista modelos de satisfacer a todos de la misma matemática supuestos como Bayesianas, pero no viceversa. Sin embargo, la misma respuesta argumentó que mi conclusión de lo anterior es incorrecta (énfasis en lo que sigue es mío):

A pesar de la constante es un caso especial de una variable aleatoria, me atrevería a concluir que Bayesianism es más general. No frecuentista resultados de Bayesianas simplemente el colapso de la variable aleatoria a una constante. La diferencia es más profunda...

Ir a preferencias personales... no me gusta que la estadística Bayesiana utiliza bastante un subconjunto restringido de distribuciones disponibles.

Otro usuario, en su respuesta, declaró el contrario, que los métodos Bayesianos son más general, aunque curiosamente la mejor razón por la que pude encontrar de por qué esto podría ser el caso fue en la anterior respuesta, dada por alguien entrenado como un frecuentista.

La matemática consecuencia es que Frequentists pensar en las ecuaciones básicas de probabilidad sólo se aplican a veces, y Bayesians creo que siempre se aplica. Así que pueden ver el mismo ecuaciones correctas, pero difieren en cuanto a la general, se trata de... Bayesiano es estrictamente más general de Frecuentista. Desde allí se puede incertidumbre acerca de cualquier hecho, cualquier hecho que se le puede asignar una probabilidad. En particular, si los hechos en el que estás trabajando relacionadas con el mundo real frecuencias (ya sea como algo que está predecir o parte de los datos), a continuación, métodos Bayesianos puede considerar el uso de ellos, al igual que cualquier otro hecho de mundo real. Por consiguiente, cualquier problema Frequentists sienten que sus métodos se aplican a Bayesians también puede trabajar en forma natural.

A partir de las respuestas de arriba, tengo la impresión de que hay al menos dos definiciones diferentes del término Bayesiano de uso común. La primera que yo llamaría "matemáticamente Bayesiano", que abarca todos los métodos de la estadística, ya que incluye parámetros que son constantes RVs y aquellos que no son constantes en RVs. A continuación, hay "culturalmente Bayesiano", que rechaza a algunos "matemáticamente Bayesiano" métodos debido a que estos métodos son "frecuentista" (es decir, de animosidad personal para el parámetro a veces ser modelada como una constante o la frecuencia). Otra respuesta a la mencionada pregunta también parece apoyar esta hipótesis:

También es de notar que hay un montón divide entre los modelos utilizados por los dos campos en los que está más relacionado con lo que se ha hecho de lo que se puede hacer (es decir, muchos de los modelos que tradicionalmente se han empleado por un campamento puede ser justificado por el otro campamento).

Así que supongo que otra forma de frase, mi pregunta sería la siguiente: ¿por Qué culturales Bayesians se llaman a sí mismos Bayesians si rechazan muchos matemáticamente Bayesiano métodos? Y ¿por qué se rechazan estos matemáticamente Bayesiano métodos? Es animosidad personal para las personas que más a menudo utilizan los métodos en particular?

Edit: Dos objetos son equivalentes en un sentido matemático, si tienen las mismas propiedades, independientemente de cómo se construyen. Por ejemplo, puedo pensar en al menos cinco maneras diferentes de construir la unidad imaginaria $i$. Sin embargo, no hay por lo menos cinco diferentes "escuelas de pensamiento" sobre el estudio de los números imaginarios; de hecho, creo que sólo hay uno, que es el grupo que estudia sus propiedades. Para aquellos que objeto de obtener una estimación de punto utilizando máxima verosimilitud no es lo mismo que llegar de un punto a estimar usando al máximo a priori y un uniforme antes porque los cálculos involucrados son diferentes, reconozco que son diferentes en un filosófica sentido, pero en la medida en que ellos siempre dan los mismos valores para la estimación, no son matemáticamente equivalentes, porque tienen las mismas propiedades. Tal vez la diferencia filosófica es relevante para usted personalmente, pero no es relevante para esta pregunta.

Nota: Esta pregunta tenía originalmente una incorrecta caracterización de la EML de estimación y MAPA de estimación con un uniforme de antes.

Answer 1

Me gustaría corregir un supuesto erróneo en el post original, un error que es relativamente común. El OP dice:

Por lo que he leído y de las respuestas a otras preguntas que me han preguntado aquí, la estimación de máxima verosimilitud corresponde matemáticamente (no me importa si corresponde filosóficamente, sólo me importa si corresponde matemáticamente) a un máximo de una estimación a priori el uso de un uniforme antes (para los que se oponen a esto, vea la nota en la parte inferior de esta pregunta).

Y la nota al final del post dice:

Dos objetos son equivalentes en un sentido matemático, si tienen las mismas propiedades, independientemente de cómo se construyen. [...]

Mi objeción es que, aparte la filosofía, la estimación de máxima verosimilitud (MLE) y máximo-a-posteriori (MAP) estimación de hacer , no tienen las mismas propiedades matemáticas.

Fundamentalmente, MLE y MAPA de transformar de manera diferente bajo (no lineal) reparametrization del espacio. Esto sucede porque el MLE tiene un "plano antes de" en cada parametrización, mientras que el MAPA no (el anterior se transforma como una densidad de probabilidad, de modo que existe una Jacobiana plazo).

La definición de un objeto matemático incluye cómo el comportamiento de los objetos en virtud de los operadores, tales como la transformación de las variables (por ejemplo, véase la definición de un tensor).

En conclusión, MLE y el MAPA no es la misma cosa, ni en la filosofía ni matemáticamente; esto no es una opinión.

Answer 2

Personalmente soy un "pragmático" en lugar de "frecuentista" o un "Bayesiano", así que no puede reclamar a hablar de cualquier campamento.

Dicho esto, creo que la distinción está aludiendo a que es, probablemente, no tanto MLE vs MAPA, pero entre las estimaciones puntuales vs estimación posterior de los archivos Pdf. Como un científico que trabaja en un campo con datos dispersos y de grandes incertidumbres, puedo simpatizar con no querer poner demasiada confianza en la "mejor estimación" de los resultados que puede inducir a error, lo que resulta en un exceso de confianza.

Una relacionada con distinción práctica entre paramétrico vs no-paramétricos métodos. Así, por ejemplo, creo que tanto el filtrado de Kalman y de filtrado de Partículas sería aceptado como Recursiva Bayesiano de Estimación. Pero la Gaussiana de la asunción de filtrado de Kalman (método paramétrico) pueden dar resultados erróneos si la parte posterior no es unimodal. A mí estos tipos de ingenierías ejemplos ponen de relieve en el que las diferencias no son ni filosófica ni matemático, pero se manifiesta en términos de prácticas de resultados (es decir, su vehículo autónomo accidente?). Para el Bayesiano entusiastas estoy familiarizado con, este "ver lo que funciona" ingeniería de estilo actitud parece ser predominante ... no estoy seguro si esto es cierto de manera más amplia.

Answer 3

Muchas personas que se auto-describen como "Bayesians", sin embargo, parecen rechazar el uso de la estimación de máxima verosimilitud bajo ninguna circunstancia, incluso a pesar de que es un caso especial de (matemáticamente) Bayesiano métodos, porque es un "frecuentista método".

Esas personas estarían rechazando el MLE como un método general para hacer estimaciones puntuales. En casos particulares donde se había razón para usar un uniforme antes y quería hacer un máximo a posteriori estimación no estaría en absoluto preocupado por la coincidencia de sus cálculos con el MLE.

Al parecer Bayesians también uso restringido/número limitado de distribuciones en comparación con frequentists, aunque los las distribuciones también sería matemáticamente correcta de un Bayesiano punto de vista.

Quizás a veces, para hacer sus cálculos más fácil, pero no desde cualquier punto de principio.

Tengo la impresión de que hay al menos dos diferentes definiciones del término Bayesiano de uso común. El primero que yo haría la llamada "matemáticamente Bayesiano", que abarca todos los métodos de las estadísticas, ya que incluye los parámetros que son constantes y vehículos recreativos aquellos que no son constantes en RVs. A continuación, hay "culturalmente Bayesiano" que rechaza algunos "matemáticamente Bayesiano" porque esos métodos los métodos son "frecuentista" (es decir, de animosidad personal para el parámetro a veces ser modelada como una constante o la frecuencia).

Sin duda hay distinciones entre los diferentes enfoques de la inferencia Bayesiana, pero no esta. Si hay un sentido en el que Bayesianism es más general, es en la voluntad de aplicar el concepto de probabilidad epistémica de la incertidumbre acerca de los valores de parámetro y no sólo lo aleatorio de la incertidumbre de los datos de proceso de generación de la que es todo lo que frequentism refiere a sí mismo. Frecuentista de la inferencia es que no es un caso especial de la inferencia Bayesiana y ninguna de las respuestas o comentarios en ¿hay algún matemático de base para el Bayesiano vs frecuentista debate? son lo que implica que es. Si en un enfoque Bayesiano se fueron a considerar el parámetro constante variable aleatoria, tendría que obtener el mismo posterior lo que los datos son— y decir que es constante, pero no sé qué valor toma no se diga nada la pena decir. El enfoque frecuentista toma una forma totalmente diferente de la tachuela y no implican el cálculo de las distribuciones posteriores.