Pregunta fundamental en la inferencia estadística

Question

He estado estudiando las estadísticas de muchos de los libros para los 3 últimos años, y gracias a este sitio he aprendido mucho. No obstante, una cuestión fundamental que aún sigue sin respuesta para mí. Es posible que tenga una muy simple o muy difícil de contestar, pero estoy seguro de que se requiere de un profundo entendimiento de las estadísticas.

Cuando el ajuste de un modelo de datos es un frecuentista o un enfoque bayesiano, se propone un modelo, que puede consistir en una forma funcional para la probabilidad, un antes o un kernel (no paramétrica), etc. El problema es que cualquier modelo se ajusta a una muestra con un cierto nivel de bondad. Uno siempre puede encontrar un mejor o peor modelo de comparación con lo que hay actualmente en la mano. En algún momento nos detenemos y empezar a sacar conclusiones, generalizar a los parámetros de la población, el informe de los intervalos de confianza, de calcular riesgos, etc. Por lo tanto, cualquier conclusión que extraemos es siempre condicional en el modelo decidimos instalarnos. Incluso si estamos usando las herramientas para estimar la espera KL distancia, como la AIC, MDL, etc., no dice nada acerca de dónde estamos, en forma absoluta, pero sólo mejora nuestra estimación sobre una base relativa. Parece que no hay objetividad como el error del modelo es completamente ignorado.

Ahora supongamos que queremos definir un procedimiento paso a paso para aplicar a cualquier conjunto de datos en la creación de modelos. ¿Qué debemos especificar como una parada de la regla? Podemos al menos obligado el error del modelo, lo que nos dará un objetivo de punto de parada (esto es diferente de detener el entrenamiento usando un ejemplo de validación, ya que también le da un punto de parada dentro de la evaluó el modelo de la clase en lugar de w.r.t. el verdadero DGP)?

Gracias

Answer 1

Por desgracia, esta pregunta no tiene una buena respuesta. Usted puede elegir el mejor modelo basado en el hecho de que se minimiza el error absoluto, error cuadrado, maximiza la probabilidad, utilizando algunos criterios que penaliza la probabilidad (por ejemplo, AIC, BIC), por mencionar sólo un par de opciones más comunes. El problema es que ninguno de los criterios que le permitirá escoger objetivamente mejor modelo, sino la mejor de la que se compara. Otro problema es que mientras que la optimización de siempre puede terminar en un local de máximo/mínimo. Sin embargo, otro problema es que la elección de los criterios para la selección del modelo es subjetiva. En muchos casos, usted conscientemente, o semi-consciente, tomar una decisión sobre lo que te interese y escoger los criterios basados en este. Por ejemplo, el uso de BIC en lugar de AIC conduce a la más parsimoniosa de los modelos, con menos parámetros. Generalmente, para el modelado usted está interesado en obtener más parsimoniosa de los modelos que conducen a algunas conclusiones generales sobre el universo, mientras que para la predicción no tiene que ser así, y a veces más complicado modelo puede tener mejor poder predictivo (pero no tiene por que y a menudo no lo hace). Sin embargo, en otros casos, a veces más complicado modelos son los preferidos para la práctica de razones, por ejemplo, mientras que la estimación Bayesiana del modelo con MCMC, con el modelo jerárquico hyperpriors puede comportarse mejor en la simulación de la más simple. Por otro lado, generalmente tenemos miedo de sobreajuste y el modelo más simple tiene el menor riesgo de sobreajuste, por lo que es una opción más segura. Buen ejemplo de esto es una automática paso a paso de selección de los modelos que generalmente no se recomienda, ya que fácilmente conduce a overfitted y estimaciones sesgadas. También hay un argumento filosófico, la navaja de Occam, que el modelo más simple es el preferido. Observe también, que estamos discutiendo aquí la comparación de los diferentes modelos, mientras que en situaciones de la vida real también puede ser para que el uso de diferentes herramientas estadísticas pueden conducir a resultados diferentes - por lo que hay una capa adicional de elegir el método!

Todo esto lleva a una triste, pero entretenido, el hecho de que nunca podemos estar seguros. Empezamos con la incertidumbre, el uso de métodos para tratar con él y terminamos con uncertanity. Esto puede ser paradójico, pero recordemos que utilizamos estadísticas porque nos creemos que el mundo es incierto y probabilístico (de lo contrario, vamos a seleccionar una carrera de los profetas), así que ¿cómo podríamos terminar con conclusiones diferentes? No hay ningún objetivo de detener la regla, hay varios posibles modelos, todos ellos están equivocados (perdón por el cliché!) porque tratan de simplificar el complicado (cambiando constantemente y probabilística) de la realidad. Encontramos que algunas de las más útiles que otros para nuestros propósitos y a veces nos hacen encontrar diferentes modelos útiles para diferentes propósitos. Usted puede ir a la parte inferior de notar que en muchos casos nos hacen modelos de desconocido $\theta$'s, que en la mayoría de los casos nunca puede ser conocido, o incluso no existen (¿ una población tiene $\mu$ para la edad?). La mayoría de los modelos no incluso tratar de describir la realidad, sino más bien proveer de abstracciones y generalizaciones, por lo que no puede ser de "derecha" o "correcto".

Se puede ir aún más profundo y descubre que no hay tal cosa como la "probabilidad" en la realidad, es sólo una aproximación de la incertidumbre que nos rodea y también hay formas alternativas de aproximarnos a ella, como por ejemplo, la lógica difusa (ver Kosko, 1993 para la discusión). Incluso las herramientas básicas y los teoremas que nuestros métodos se basan en son aproximaciones y no son los únicos que son posibles. Simplemente no podemos estar seguros en este tipo de configuración.

La detención de regla que usted está buscando es siempre un problema específico y subjetiva, es decir, basado en el llamado juicio profesional. Por cierto, hay un montón de ejemplos de investigaciones que han demostrado que los profesionales que a menudo no son mejor y a veces peor aún, a su juicio, que los laicos (por ejemplo, revivió en los artículos y libros por Daniel Kahneman), mientras que ser más propenso a un exceso de confianza (esto es en realidad un argumento sobre por qué debemos de no tratar de ser "seguro" acerca de los modelos).

---

Kosko, B. (1993). Pensamiento confuso: la nueva ciencia de la lógica difusa. Nueva York: Hyperion.

Answer 2

Hay todo un campo llamado test no paramétrico de estadísticas que evita el uso de modelos. Sin embargo, su preocupación acerca de los modelos de ajuste, de por sí, es válido. Por desgracia no hay ningún procedimiento mecánico para el ajuste de modelos que será aceptada universalmente como "óptima". Por ejemplo, si desea definir el modelo que maximiza la probabilidad de los datos, entonces usted será llevado a la distribución empírica de la función.

Sin embargo, normalmente tenemos algunos antecedentes de los supuestos y restricciones, tales como continuo con finito de primer y segundo momentos. Para casos como estos, una estrategia es elegir una medida como la de Shannon Diferencial de la Entropía y maximizar, en el espacio de distribuciones continuas que satisfacer su límite de las restricciones.

Lo que me gustaría señalar es que si usted no sólo quiere de forma predeterminada, el ECDF, entonces usted necesitará agregar supuestos, más allá de los datos, para llegar allí, y que requiere de expertos en la materia, y, sí, el temido.....juicio profesional

Así, hay una garantía de un punto de parada para el modelado...la respuesta es no. Hay un buen lugar para parar? Por lo general, sí, pero que punto va a depender más que de los datos y la estadística en desiderata, por lo general, va a tomar en cuenta los riesgos de errores diferentes, las limitaciones técnicas para la implementación de los modelos, y la robustez de sus presupuestos, etc.

Como @Luca señaló, siempre puedes promedio de más de una clase de modelos, pero, como se ha señalado con razón, que sólo empujar la pregunta hasta el siguiente nivel de hyperparameters. Por desgracia, parece que estamos a vivir dentro de un ser infinitamente capas de cebolla...en ambas direcciones!