Si utiliza una estimación de punto que maximiza $P(x | \theta)$, ¿qué dice eso acerca de su filosofía? (frecuentista o Bayesiana o algo más?)

Question

Si alguien dijo

"Que método utiliza el MLE la estimación puntual del parámetro que maximiza $\mathrm{P}(x|\theta)$, por lo tanto es frecuencial; y además no se Bayesiano."

¿está de acuerdo?

• Actualización sobre el fondo: recientemente he leído un documento que pretende ser frecuentista. No estoy de acuerdo con su demanda, en el mejor creo que es ambiguo. El documento no menciona explícitamente el MLE (o el MAPA, para esa materia). Se acaba de tomar un punto de estimación, y que simplemente se procede como si este punto de estimar que era cierto. Que hacer no hacer ningún análisis de la distribución de muestreo de este estimador, ni nada de eso; el modelo es bastante complejo y por lo tanto este tipo de análisis es, probablemente, no sea posible. No uso la palabra 'posterior' en cualquier momento. Ellos sólo toman este punto de estimación en el valor de cara y proceder a su principal tema de interés - inferir de los datos que faltan. Creo que no hay nada en su enfoque que sugiere cuál es su filosofía. Ellos pueden tener la intención de ser frecuentista (porque se sienten obligados a llevar su filosofía en la manga de su camisa), pero su enfoque es bastante simple/conveniente/perezoso/ambiguo. Me inclino ahora decir que la investigación realmente no tiene ninguna filosofía detrás de él; en lugar de eso creo que su actitud era más pragmático o conveniente:

  "Tengo los datos observados, $x$, y deseo para estimar algunos de los datos que faltan, $z$. Hay un parámetro $\theta$ que controla la relación entre el$z$$x$. Yo realmente no se preocupan por $\theta$, excepto como un medio para un fin. Si tengo una estimación de $\theta$ esto hará que sea más fácil predecir $z$$x$. Voy a elegir una estimación de punto de $\theta$ porque es conveniente, en particular, voy a elegir el $\hat{\theta}$ que maximiza $\mathrm{P}(x|\theta)$."

La idea de un estimador imparcial es claramente un concepto Frecuentista. Esto es debido a que no en la condición de los datos y se describe una propiedad de nice (unbiasedness) que sirva para todos los valores del parámetro.

En Bayesiano métodos, los roles de los datos y el parámetro son una especie de invertir. En particular, estamos ahora en la condición de los datos observados y proceder a hacer inferencias sobre el valor del parámetro. Esto requiere de un previo.

Hasta aquí bien, pero ¿de dónde viene el MLE (Estimación de Máxima Verosimilitud) encaja en todo esto? Tengo la impresión de que muchas personas sienten que es Frecuentista (o, más precisamente, que no es Bayesiano). Pero siento que es Bayesiano porque se trata de tomar los datos observados y, a continuación, encontrar el parámetro que maximiza $P(data | parameter)$. El MLE es implícitamente el uso de un uniforme antes y acondicionado en los datos y maximización de la $P(parameter | data)$. Es justo decir que el MLE se ve Frecuentista y Bayesiana? O lo hace cada herramienta sencilla caer en exactamente una de estas dos categorías?

El MLE es consistente , pero tengo la sensación de que la coherencia puede ser presentado como un Bayesiano idea. Dado arbitrariamente grandes muestras, la estimación converge en la respuesta correcta. La declaración "el presupuesto será igual al valor verdadero" es verdadero para todos los valores del parámetro. Lo interesante es que esta afirmación también se aplica si en la condición de los datos observados, lo que es Bayesiano. Esta muy interesante, aparte tiene para la MLE, pero no para un estimador imparcial.

Esta es la razón por la que considero que el MLE es el más Bayesiano' de los métodos que podría ser descrito como Frecuentista.

De todos modos, la mayoría de los Frecuentista propiedades (tales como unbiasedness) se aplican en todos los casos, incluyendo finito tamaños de muestra. El hecho de que la coherencia sólo se mantiene en el escenario imposible (infinito de la muestra en el plazo de un experimento) sugiere que la coherencia no es una propiedad útil.

Dado realista (es decir, finito) de la muestra, hay un Frecuentista de la propiedad que se mantiene fiel de la MLE? Si no, el MLE no es realmente Frecuentista.

Answer 1

"O se hace cada herramienta sencilla caer en exactamente una de estas dos categorías? "

No. Simple (y no tan simples herramientas) puede ser estudiado desde diferentes wievpoints. La probabilidad de la función de por sí es una piedra angular en el método Bayesiano y frecuencial de la estadística, y puede ser estudiado desde dos puntos de vista! Si usted desea, usted puede estudiar el MLE como un aproximado de Bayes solución, o usted puede estudiar sus propiedades con la teoría asintótica, en un frecuentista.

Answer 2

Cuando usted está haciendo la Estimación de Máxima Verosimilitud de considerar el valor de la estimación y el muestreo de las propiedades del estimador, con el fin de establecer el grado de incertidumbre de la estimación se expresa como un intervalo de confianza. Creo que esto es importante en cuanto a tu pregunta porque un intervalo de confianza será en general dependen de los puntos de muestreo que no fueron observados, que se parecen por algunos como una esencia unbayesian de la propiedad.

P. S. Esto está relacionado con la más general hecho de que la Estimación de Máxima Verosimilitud (Punto + Intervalo) no cumple con la Probabilidad de Principio, mientras que un total ("Salvaje "de estilo) análisis Bayesiano.

Answer 3

La función de probabilidad es una función que consiste en los datos y el parámetro desconocido(s). Se puede ver como la densidad de probabilidad de los datos observados, dado el valor de la(s) parámetro(s). Los parámetros son fijos. Así que, de por sí, la probabilidad es una noción frecuencial. Maximizar la probabilidad es sólo para encontrar el valor específico(s) del parámetro(s) que hace que la probabilidad de tomar en su valor máximo. Para la estimación de máxima verosimilitud es un frecuentista método basado exclusivamente en los datos y el modelo de formulario que se supone que la generan. La estimación bayesiana sólo entra en cuando antes de la distribución se coloca en el parámetro(s) y de Bayes fórmula se utiliza para obtener una aposteriori de distribución para el parámetro(s) mediante la combinación de los anteriores con la probabilidad.

Answer 4

Suponiendo que por "Bayesiano" usted se refiere a la subjetiva de Bayes (un.k.una. epistémica de Bayes, De Finetti de Bayes) y no el actual empírico de Bayes de sentido-está lejos de ser trivial. Por un lado, inferir basada en los datos por sí solos. No hay creencias subjetivas en la mano. Esto parece frecuentista suficiente... Pero la crítica, expresada incluso en Fisher sí mismo (un estricto no (subjetiva) Bayesiano), es que en la elección de la distribución de muestreo de los datos de la subjetividad se ha rastreado en. Un parámetro sólo está definida dado que nuestras creencias de los datos de proceso de generación.

En conclusión, creo que el MLE suele ser considerado como un concepto frecuentista, aunque se trata de una mera cuestión de cómo se defina "frecuentista" y "Bayesiano".

Answer 5

(contestador propia pregunta)

Un estimador es una función que toma algunos datos y produce un número (o números). Un estimador, por sí mismo, no es realmente 'Bayesiano' o 'frecuentista' - usted puede pensar en él como una caja negra donde ir y los números salen. Usted puede presentar el mismo estimador para un frecuentista y a un Bayesiano y tendrán diferentes cosas para decir acerca del estimador.

(No estoy contento con mi simplista distinción entre frecuentista y Bayesiano - hay otras cuestiones a considerar. Pero para simplificar, vamos a suponer que son sólo dos bien definidos filosófica campamentos.)

Usted no puede decir si un investigador es frecuentista de Bayesiana solo por que el estimador de ellos elija. Lo importante es escuchar lo que los análisis que hacen en el estimador y cuáles son las razones que dan para la elección de dicho estimador.

Imagina que crear una pieza de software que se encuentra que el valor de $\theta$, lo que maximiza $\mathrm{P}(\mathbf{x}|\theta)$. Presentar este software a un frecuentista y pídales que hagan una presentación acerca de él. Probablemente proceder mediante el análisis de la distribución de muestreo y pruebas si el estimador es sesgado. Y tal vez voy a comprobar si es coherente. Se va a aprobar o desaprobar, el estimador basado en propiedades como esta. Estos son los tipos de propiedades que un frecuentista está interesado en.

Cuando el mismo software se presenta a un Bayesiano, el Bayesiano bien podría ser feliz con la frecuencial del análisis. Sí, todas las otras cosas siendo iguales, el sesgo no es buena y la consistencia es buena. Pero el Bayesiano estarán más interesados en otras cosas. El Bayesiano se desee para ver si el estimador toma la forma de una función de distribución posterior; y si es así, lo que antes era utilizado? Si el estimador se basa en un trabajo posterior, el Bayesiano se preguntan si el anterior es buena. Si ellos son felices con el anterior, y si el estimador es el modo de presentación de informes de la parte posterior (a diferencia de, digamos, la media de la parte posterior) entonces son felices para aplicar esta interpretación de la estimación: "Este presupuesto es la estimación puntual de la que tiene la mejor oportunidad de ser correcto."

Oigo a menudo se dice que frequentists y Bayesiano "interpretar" las cosas de manera diferente, incluso cuando los números son los mismos. Esto puede ser un poco confuso, y no creo que sea realmente cierto. Sus interpretaciones no entran en conflicto el uno con el otro; ellos simplemente hacer declaraciones acerca de los diferentes aspectos del sistema. Vamos a dejar de lado las estimaciones puntuales para el momento y considerar los intervalos de cambio. En particular, hay frecuencial de los intervalos de confianza y Bayesiano intervalos de credibilidad. Se le suele dar diferentes respuestas. Pero en ciertos modelos, con algunos de los priores, los dos tipos de intervalo va a dar la misma respuesta numérica.

Cuando los intervalos son los mismos, ¿cómo podemos interpretar de manera diferente? Un frecuentista se dicen de un intervalo estimador:

Antes de que me vea los datos o en el intervalo correspondiente, puedo decir que hay al menos un 95% de probabilidad de que el verdadero parámetro estará contenido dentro del intervalo.

mientras que un Bayesiano se dicen de un intervalo estimador:

Después veo los datos o el intervalo correspondiente, puedo decir que hay al menos un 95% de probabilidad de que el verdadero parámetro está contenida en el intervalo.

Estas dos declaraciones son idénticos, aparte de las palabras 'Antes' y 'Después'. El Bayesiano se entiende y está de acuerdo con la anterior declaración y también se reconoce que su verdad es independiente de cualquier otra, lo que hace que sea 'más fuerte'. Pero habla como un Bayesiano de mí mismo, me preocuparía que la declaración podría no ser muy útil. El frecuentista no como el último estado de cuenta, pero no entiendo bien lo suficiente como para dar una descripción imparcial de la frecuentista de las objeciones.

Después de ver los datos, la frecuentista todavía ser optimistas de que el verdadero valor está contenido en el intervalo? Tal vez no. Esto es un poco contradictorio, pero es importante para entender verdaderamente los intervalos de confianza y otros conceptos basados en la distribución de muestreo. Se podría presumir que la frecuentista sería decir "la vista de los datos, todavía creo que hay un 95% de probabilidad de que el verdadero valor está en este intervalo de tiempo". Un frecuentista no sería sólo cuestión de si esa afirmación es cierta, también se pregunta si es significativo para el atributo de probabilidades de esta manera. Si usted tiene más preguntas sobre esto, no me preguntes a mí, este tema es demasiado para mí!

El Bayesiano es feliz a hacer la declaración: "Acondicionado en los datos que he visto, la probabilidad es de un 95% de que el verdadero valor está en este rango."

Debo admitir que estoy un poco confundido en un punto final. Entiendo, y estoy de acuerdo con la declaración hecha por el frecuentista antes de los datos se ve. Entiendo, y de acuerdo con la declaración hecha por el Bayesiano después de los datos se ve. Sin embargo, no estoy tan seguro de lo que el frecuentista va a decir después de los datos se ve; sus creencias sobre el mundo ha cambiado? No estoy en una posición para entender la frecuentista de filosofía.