6 votos

Las leyes no escritas y trucos sucios para influir en el resultado de un análisis de regresión

Antecedentes: Hace algunos años, yo estaba trabajando para un profesor especializado en macroeconometrics. Como estudiante asistente de investigación, era mi tarea de replicar los demás papeles y "jugar" con los datos. Aprendí rápidamente que muchos de ellos publicados los resultados no fueron robustos a cambios pequeños en el modelado de la instalación (por ejemplo, si se omite una variable, cambiar el rango de datos, agregar más lag). En teoría, el investigador de la hipótesis, hace una regresión y los informes de los resultados. Pero en la práctica parece ser una ley no escrita para la estimación de cientos de regresiones y publicar uno.

Mi pregunta: ¿cuáles son unas leyes no escritas y trucos sucios para influir en el resultado de un análisis de regresión? ¿Conoces alguna referencia (académico/ semi-académico), donde el autor describe un procedimiento informal para obtener preferible resultados?

7voto

AdamSane Puntos 1825

Simplemente porque el análisis es sensible a los cambios en el modelo no necesariamente implica que el investigador probado muchos modelos y, a continuación, publicada el que trabajó.

Uno sólo necesita la hipótesis de la existencia de un número de investigadores de cada uno teniendo en cuenta un poco de la cuestión similar, cada uno tratando de sólo uno de los análisis, y el primero que trata el 'éxito' modelo es el que se publican.

La falta de cualquier análisis de sensibilidad sería más una indicación de la incompetencia o descuido en lugar de significación real de caza por cualquier individuo.

Eso no quiere decir que (importancia de la caza) nunca sucede, es sólo que no se puede decir por la simple existencia de una situación que era lo que pasaba en cualquier caso particular. En la práctica, veo ignorante incompetencia o de plano descuido (en la cara de publicar o perecer mentalidad, no es de extrañar en absoluto - ¿cuál es la recompensa por tomar el tiempo para hacer las cosas con la debida atención?) mucho más a menudo de mala conducta deliberada; todo lo que se necesita por encima de que es una gran cohorte de personas a pensar en preguntas similares para todos aquellos "caso especial" de los resultados que realmente no generalizar a su vez con el tiempo en la literatura.

La fuente de lo que es eficaz significado de caza, incluso cuando todo el mundo trata sólo de un modelo es la existencia de revistas que desea publicar "significativo" de los resultados. Actúan para crear los resultados que no pueden ser reproducidos (que son el ruido, básicamente). Si las revistas desea publicar resultados que son casi todos los falsos positivos, todo lo que necesita hacer es seguir como están.

Incluso muchas de las revistas que tienen una política oficial dirigida a evitar estos problemas, sin embargo, tienen un de facto de la política de sólo la publicación de resultados significativos, porque acepta las prácticas y recomendaciones de los revisores que insistir en ellos, a pesar de la política establecida.

Para obtener mejores resultados, se necesita impulsar activamente un enfoque en los tamaños de los efectos, y se concentran una fracción significativa de esfuerzo en la publicación de bien llevado a cabo estudios que encuentran nada. [En el caso de los grupos profesionales y editorial de la revista de las juntas, y los editores no pueden comprender la importancia científica de no encontrar nada de lo que pasa (y las muy graves consecuencias de ignorar los resultados nulos), probablemente debería de salir de ese negocio y entrar en algo relativamente científicamente más honesto, como correr una lectura psíquica teléfono de línea. Al menos, ninguna pretensión de rigor deberían ser descartados.]


En la línea de lo que sugiere que quizás la gente no lo están haciendo deliberadamente, aquí hay algunas más o menos inconsciente "trucos sucios" que puede incrementar las tasas de encontrar resultados significativos:

  • haciendo del modelo de selección de variables sin tener en cuenta el efecto de la misma. Esta es, probablemente, el más grande, puede ocurrir en un número de puntos en la investigación, y el investigador puede incluso no ser conscientes de que lo están haciendo (a veces es sutil).

    De hecho, el básico "modelización del ciclo de' paradigma (como el diagrama de flujo se encuentra en Box y Jenkins, digamos) conduce a este problema. Eso no es una crítica a esa diagrama de flujo, por cierto -, pero uno debe tratar adecuadamente con el efecto de estos procedimientos.

    Merece la pena leer a Frank Harrell del libro (Regresión Modelización de Estrategias), en particular el capítulo 4. La información relacionada se puede encontrar en un número de otros lugares.

  • centrándose en el modelo de evaluación (en particular de ver las cosas como normalidad, homoskedasticity o considerando la adición de los términos de interacción o los términos para recoger curvatura), o sólo se centra más difícil cuando no se encuentra nada - y luego de probar un nuevo análisis cuando algún fracaso de las suposiciones es detectado - que cuando un resultado deseado se encuentra.

  • tratando de averiguar si hay un mejor post-hoc de procedimiento cuando el primero que trató de no dar el resultado que usted necesita.

3voto

cbeleites Puntos 12461

ni siquiera robusto a cambios pequeños en el modelado de instalación

Soy químico analítico/chemometrician. En mi campo, los relacionados con las palabras clave relativas a la demostración/indica el grado de robustez del modelo y todo el método de análisis es contra ciertas influencias son la solidez y robustez (Hay todo un cuerpo de literatura incluyendo las regulaciones sobre estos temas). Se aplican a todo el método, no sólo para el análisis de los datos, pero se aplican los mismos principios (¿cuánto el análisis de los resultados se deterioran si, por ejemplo, el pH varía, un laboratorio diferente hace el trabajo, algunas de las características son excluidos, etc.).

El punto clave es que usted tiene que sentarse y pensar en disco duro y poner una lista de condiciones para poner a prueba la robustez.

Como por la robustez de los análisis de datos, aquí un poco de la literatura que puede ser de interés para usted:


ahora acerca de los trucos sucios:

  • Todo tipo de cosas que conducen a la predisposición al optimismo en los resultados de la validación

    • Las fugas de datos entre los datos de prueba y entrenamiento

      • no dividir los datos correctamente = en el nivel superior en la jerarquía de datos (por ejemplo, el tratamiento de las muestras preparadas a partir de la misma solución como independiente, el tratamiento de múltiples mediciones de la misma paciente de la misma serie de tiempo como independiente, etc.)
      • Basado en datos de la característica de reducción (PCA, PLS) de hecho en todo el conjunto de datos, "validar" sólo el último nivel del modelo (por ejemplo, la regresión realizada en el PCA puntuación de espacio).
      • Mismo es cierto para cualquier tipo de pre-procesamiento que involucra a más de un caso: todos estos se han realizado sobre los datos de entrenamiento y los resultados se aplican a los datos de prueba.
      • Modelo de sesgo de selección: También modelo de datos optimización de selección/exterior sin la validación del modelo final es una especie de escape de los datos.
  • La creación de "profecías autocumplidas" en el proceso de modelado

    • asignar la referencia de etiquetas para la clasificación mediante un análisis de cluster
    • excluir los casos debido a que no encajan en el modelo sin informar de criterios adecuados para la exclusión de las demás (Tenga en cuenta que algunas aplicaciones de un sistema automatizado de decistion/filtro para rechazar el mal de los casos/mediciones que están fuera del dominio de aplicabilidad, es posible y razonable, a pesar de que)
  • (prueba) los conjuntos de datos no son representativos para la aplicación. E. g. las aplicaciones que funcionan en la tratan con frecuencia los diagnósticos médicos. Hay siempre difícil/casos límite en los que es difícil obtener de referencia diagnósticos. Sin embargo, a excepción de los casos a partir de los análisis de datos se crea artificialmente un problema fácil que excluye a todos aquellos casos en los que el modelo sería más necesitados.
    Para una discusión en el contexto de semi-supervisado modelos ver
    Berget, I. & Næs, T. Utilizando sin clasificar observaciones para la mejora de los clasificadores J Chemom, 2004, 18, 103-111. DOI: 10.1002/cem.857

    • afirmando que (remuestreo) los resultados de la validación para los casos desconocidos generalizar a desconocido futuro de los casos. También conduce a un sesgo optimista (viñeta 1).

    • Saltando de observaciones por ejemplo, en la celda de datos de la línea o xenoinjertos a conclusiones acerca de los seres humanos. O de unos especifica con precisión y grupos seleccionados de los seres humanos con la aplicabilidad médica herramienta de detección, etc.

  • No tener la cantidad suficiente de casos de prueba para justificar la conclusión. Al menos una cierta cordura comprobar en los resultados de la validación se debe hacer (por ejemplo, el intervalo de confianza para la validación de los resultados lo suficientemente estrecha como para permitir que prácticamente conclusiones pertinentes, es decir, con respecto a lo que se considera muy buena, razonable, malo y muy malo-a-dare-modelos de informes.)

  • Los seres humanos están sesgados hacia el reconocimiento de patrones (como contraposición a la vista de los patrones). Esto también puede conducir a la configuración demasiado complejos modelos que son overfit y no robusto.

Todos estos puntos implican un trade-off entre lo que es bueno y sensible, y lo que es demasiado, y/o que los factores que influyen son importantes y cuales no. Personalmente, puedo vivir felizmente con el modelado, donde todo tipo de decisiones son hechas por el analista de datos siempre y cuando estas decisiones son comunicado y justificado.

OTOH, creo que uno tiene que juzgar carfully que el nivel de la validación es sensible en una aplicación dada. Todos (o la mayoría de estos) estos puntos puede tener sentido en ciertas situaciones, pero que limitan las conclusiones que se pueden extraer. Que en sí mismo es mi humilde opinión, no es un problema - esto es sólo una forma muy normal, a "pagar" por el uso de un método que pueda ser aplicada en la práctica. Problemas en mi humilde opinión surgir de no ser conscientes de las limitaciones.

i-Ciencias.com

I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.

Powered by:

X