Cómo ocultar un modelo de regresión al profesor (Regression Battleship)

Question

Estoy trabajando en una tarea en la que mi profesor quiere que creemos un modelo de regresión verdadero, simulemos una muestra de datos y él va a intentar encontrar nuestro modelo de regresión verdadero utilizando algunas de las técnicas que hemos aprendido en clase. Asimismo, tendremos que hacer lo mismo con un conjunto de datos que nos ha dado.

Dice que ha sido capaz de producir un modelo bastante preciso para todos los intentos anteriores de intentar engañarlo. Ha habido algunos estudiantes que han creado algún modelo descabellado, pero podría decirse que ha sido capaz de producir un modelo más simple que era suficiente.

¿Cómo puedo desarrollar un modelo difícil de encontrar para él? ¿No quiero ser súper barato haciendo 4 términos cuadráticos, 3 observaciones y una varianza masiva? ¿Cómo puedo producir un conjunto de datos aparentemente inocuo que tenga un pequeño modelo difícil debajo de él?

Simplemente tiene 3 reglas que seguir:

1. Su conjunto de datos debe tener una variable "Y" y 20 variables "X" etiquetadas como "Y", "X1", ..., "X20".

2. Su variable de respuesta $Y$ debe provenir de un modelo de regresión lineal que satisfaga:
   $$Y_i^\prime = \beta_0 + \beta_1 X_{i1}^\prime + \ldots + \beta_{p-1}X_{i,p-1}^\prime + \epsilon_i$$ donde $\epsilon_i \sim N(0,\sigma^2)$ y $p \leq 21$ .

3. Todo $X$ -variables que se utilizaron para crear $Y$ están contenidos en su conjunto de datos.

Hay que tener en cuenta que no es necesario que las 20 variables X estén en tu modelo real

Estaba pensando en utilizar algo como el Modelo Fama-French de 3 factores y hacer que empiece con los datos de las acciones (SPX y AAPL) y que tenga que transformar esas variables a los rendimientos compuestos de forma continua para oscurecerlo un poco más. Pero eso me deja con los valores perdidos en la primera observación y su serie temporal (que aún no hemos discutido en clase).

No estoy seguro de que este sea el lugar adecuado para publicar algo así. Me pareció que podría generar un buen debate.

Editar: Tampoco estoy preguntando por modelos "preconstruidos" en particular. Tengo más curiosidad por los temas/herramientas de la Estadística que permitirían a alguien hacer esto.

Answer 1

Simplemente haz que el término de error sea mucho mayor que la parte explicada. Por ejemplo: $y_i=X_{i1}+\epsilon_i$ , donde $X_{ij}=\sin(i+j)$ , $i=1..1000$ y $\sigma=1000000$ . Por supuesto, tienes que recordar cuál era tu semilla, para poder demostrar a tu profesor que tenías razón y él estaba equivocado.

Buena suerte identificando la fase con esta relación ruido/señal.

Answer 2

Si su objetivo es recuperar el verdadero proceso de generación de datos que crea $Y$ engañar a tu profesor es bastante trivial. Para darle un ejemplo, considere los disturbios $\epsilon_i\sim N(0,1)$ y las siguientes ecuaciones estructurales:

$$X_1 = \epsilon_1 + \epsilon_0\\ X_2 =\epsilon_1 + \epsilon_2\\ y = X_1 + \epsilon_2$$

Obsérvese la verdadera DGP de $Y$ que sólo incluye $X_1$ satisfacen trivialmente la condición 2. La condición 3 también se cumple, ya que $X_1$ es la única variable para crear $Y$ y usted está proporcionando $X_1$ y $X_2$ .

Sin embargo, no hay manera de que su profesor pueda decir si debe incluir sólo $X_1$ sólo $X_2$ o $X_1$ y $X_2$ para recuperar la verdadera DGP de $Y$ (si acaba utilizando este ejemplo, cambie el número de las variables). Lo más probable es que te dé como respuesta la regresión con todas las variables, ya que todas aparecerán como predictores significativos. Puedes ampliar esto a 20 variables si lo deseas, tal vez quieras comprobar esta respuesta aquí y un La máquina de la paradoja de Simpson aquí.

Tenga en cuenta todas las expectativas condicionales $E[Y|X_1]$ , $E[Y|X_2]$ o $E[Y|X_1, X_2]$ son expectativas condicionales correctamente especificadas, pero sólo $E[Y|X_1]$ refleja la verdadera DGP de $Y$ . Así, después de que su profesor falle inevitablemente la tarea, podría argumentar que su objetivo era simplemente recuperar cualquier expectativa condicional, u obtener la mejor predicción de $Y$ etc. Puedes argumentar que no fue lo que dijo, ya que afirma:

la variable Y debe vienen de un modelo de regresión lineal que satisfaga (...) las variables que se utilizado para crear Y (...) su modelo real (...)

Y podrías provocar un buen debate en clase sobre la causalidad, lo que verdadero DGP medios y la identificabilidad en general.

Answer 3

Utilizar variables con multicolinealidad y heteroscedasticidad como la renta frente a la edad: hacer una dolorosa ingeniería de rasgos que proporcione problemas de escalado: dar NAs para algunos salpicados de escasez. La parte de la linealidad realmente hace que sea más difícil, pero podría ser doloroso. Además, los valores atípicos aumentarían el problema para él por adelantado.

Answer 4

¿Están permitidos los términos de interacción? Si es así, establezca todos los coeficientes de orden inferior en 0 y construya todo el modelo a partir de interacciones de orden N-ésimo (por ejemplo, términos como $X_5X_8X_{12}X_{13}$ ). Para 20 regresores, el número de interacciones posibles es astronómicamente grande y sería muy difícil encontrar sólo las que usted incluyó.

Answer 5

Elige cualquier modelo lineal. Dale un conjunto de datos donde la mayoría de las muestras estén alrededor de x=0. Dale pocas muestras alrededor de x=1.000.000.

Lo bueno aquí es que las muestras alrededor de x=1.000.000 no son valores atípicos. Se generan a partir de la misma fuente. Sin embargo, como las escalas son tan diferentes, los errores alrededor de 1M no encajarán con los errores alrededor de 0.

Veamos un ejemplo. Nuestro modelo es $$Y_i^\prime = \beta_0 +\beta_1 X_{i1}^\prime + \epsilon_i$$

Tenemos un conjunto de datos de n muestras, cerca de x=0. Elegiremos 2 puntos más en valores "suficientemente lejanos". Suponemos que estos dos puntos tienen algún error.

Un valor "suficientemente lejano" es un valor tal que el error de una estimación que no pasa directamente por estos dos puntos es mucho mayor que el error del resto del conjunto de datos.

Por lo tanto, la regresión lineal elegirá los coeficientes que pasen en estos dos puntos y se perderá el resto del conjunto de datos y será diferente del modelo subyacente.

Véase el siguiente ejemplo. {{1, 782}, {2, 3099}, {3, 110}, {4, 1266}, {5, 1381}, {1000000 ,1002169}, {1000001, 999688}}

Esto es en el formato de la serie WolfarmAlpha. En cada par, el primer elemento es x y el segundo se generó en Excel utilizando la fórmula =A2+NORMINV(RAND(),0,2000).

Por lo tanto, $\beta_0=1, \beta_1=1$ y añadimos ruido aleatorio normalmente distribuido con media 0 y desviación estándar de 2000. Esto es mucho ruido cerca de cero pero uno pequeño cerca de un millón.

Utilizando Wolfram Alpha, se obtiene la siguiendo regresión lineal $y= 178433. x - 426805$ que es bastante diferente de la distribución subyacente de $y=x$