¿Qué es la contracción?

Question

La palabra encogimiento se utiliza mucho en ciertos círculos. Pero no parece haber una definición clara de lo que es la contracción. Si tengo una serie temporal (o cualquier colección de observaciones de algún proceso), ¿cuáles son las diferentes formas en que puedo medir algún tipo de contracción empírica en la serie? ¿Cuáles son los diferentes tipos de contracción teórica de los que puedo hablar? ¿Cómo puede ayudar la contracción a la predicción? ¿Puede la gente proporcionar alguna buena idea o referencias?

Answer 1

En 1961 James y Stein publicaron un artículo llamado "Estimación con pérdida cuadrática" https://projecteuclid.org/download/pdf_1/euclid.bsmsp/1200512173 . Aunque no acuña específicamente el término contracción, discuten los estimadores minimax para estadísticas de alta dimensión (en realidad incluso para una localización de 3 parámetros) que tienen menos riesgo (pérdida esperada) que el MLE habitual (cada componente la media de la muestra) para datos normales. Bradley Efron llama a su hallazgo "el teorema más sorprendente de la estadística matemática de la posguerra". Este artículo ha sido citado 3.310 veces.

Copas escribe en 1983 el primer artículo Regresión, predicción y contracción que acuña el término "contracción". Se define implícitamente en el resumen:

El ajuste de un predictor de regresión a los nuevos datos es casi siempre peor que su ajuste a los datos originales. La anticipación de esta contracción conduce a a predictores tipo Stein que, bajo ciertos supuestos, dan un error cuadrático medio de predicción uniformemente inferior al de los mínimos cuadrados.

Y en todas las investigaciones sucesivas, parece que la contracción se refiere a las características operativas (y sus estimaciones) para la validez fuera de la muestra de la predicción y la estimación en el contexto de encontrar estimadores admisibles y/o minimax.

Answer 2

Se trata de la regularización. Supongamos que desea ajustar una curva y utiliza una función de pérdida cuadrada (puede elegir otras). En fit desea recuperar los parámetros que rigen el proceso que generó esa curva. Ahora imagine que quiere ajustar esta curva utilizando el polinomio 100 (sólo por ejemplo). Es muy probable que sobreajuste o que capture todos los pliegues y el ruido de la curva. Además, su capacidad de predicción fuera del intervalo de datos de entrenamiento dado será probablemente muy pobre. Por lo tanto, el término de regularización se añade a la función objetivo con algún peso multiplicado por el factor de regularización - l_1, l_2 o personalizado. En el caso de l_2, que es mucho más sencillo de entender, esto tendrá el efecto de que los valores grandes de los parámetros se verán forzados a reducirse. Usted puede pensar en la regularización o la contracción como la conducción de su algoritmo a una solución que podría ser una solución mejor.