He encontrado mucho en Internet sobre la interpretación de los efectos aleatorios y fijos. Sin embargo, no he podido encontrar una fuente que precise lo siguiente:
¿Cuál es la diferencia matemática entre efectos aleatorios y fijos?
Me refiero a la formulación matemática del modelo y a la forma de estimar los parámetros.
El modelo más sencillo con efectos aleatorios es el modelo ANOVA unidireccional con efectos aleatorios, dado por las observaciones $y_{ij}$ con supuestos distributivos: $$(y_{ij} \mid \mu_i) \sim_{\text{iid}} {\cal N}(\mu_i, \sigma^2_w), \quad j=1,\ldots,J, \qquad \mu_i \sim_{\text{iid}} {\cal N}(\mu, \sigma^2_b), \quad i=1,\ldots,I.$$
Aquí los efectos aleatorios son los $\mu_i$ . Son variables aleatorias, mientras que son números fijos en el modelo ANOVA con efectos fijos.
Por ejemplo, cada uno de los tres técnicos $i=1,2,3$ en un laboratorio registra una serie de mediciones, y $y_{ij}$ es el $j$ -ésima medida del técnico $i$ . Llame a $\mu_i$ el "verdadero valor medio" de la serie generada por el técnico $i$ ; este es un parámetro un poco artificial, se puede ver $\mu_i$ como el valor medio que el técnico $i$ se habría obtenido si hubiera registrado una enorme serie de mediciones.
Si está interesado en evaluar $\mu_1$ , $\mu_2$ , $\mu_3$ (por ejemplo, para evaluar la sesgo entre operadores), entonces hay que utilizar el modelo ANOVA con efectos fijos.
Debe utilizar el modelo ANOVA con efectos aleatorios cuando esté interesado en las varianzas $\sigma^2_w$ y $\sigma^2_b$ definir el modelo, y el varianza total $\sigma^2_b+\sigma^2_w$ (véase más abajo). La varianza $\sigma^2_w$ es la varianza de las grabaciones generadas por un técnico (se supone que es la misma para todos los técnicos), y $\sigma^2_b$ se denomina varianza entre técnicos. Quizá lo ideal sería seleccionar a los técnicos al azar.
Este modelo refleja la fórmula de descomposición de la varianza de una muestra de datos : 
Varianza total = varianza de las medias $+$ medios de intravarianza
que se refleja en el modelo ANOVA con efectos aleatorios: 
De hecho, la distribución de $y_{ij}$ se define por su distribución condicional $(y_{ij})$ dado $\mu_i$ y por la distribución de $\mu_i$ . Si se calcula la distribución "incondicional" de $y_{ij}$ entonces encontramos $\boxed{y_{ij} \sim {\cal N}(\mu, \sigma^2_b+\sigma^2_w)}$ .
Véase diapositiva 24 y diapositiva 25 aquí para ver mejores imágenes (tienes que guardar el archivo pdf para apreciar las superposiciones, no veas la versión online).
Gracias @amoeba, mi código para los momentos de inercia está disponible en mi blog: stla.github.io/stlapblog/posts/Variance_inertia.html
No lo entiendo. Si tengo varias mediciones realizadas por varios técnicos, ¿por qué necesito un ANOVA? ¿No puedo simplemente ajustar una gaussiana a los resultados de cada técnico, y obtener un $\mu$ y $\sigma$ para cada uno de ellos? ¿Qué me permite hacer tu manera de resolver esto que no me permite hacer la mía?
Básicamente, lo que creo que es la diferencia más clara si se modela un factor como aleatorio, es que se supone que los efectos se extraen de una distribución normal común.
Por ejemplo, si tiene algún tipo de modelo relativo a las calificaciones y desea tener en cuenta los datos de los estudiantes procedentes de diferentes escuelas y modeliza la escuela como un factor aleatorio, esto significa que asume que las medias por escuela se distribuyen normalmente. Esto significa que se están modelando dos fuentes de variación: la variabilidad dentro de la escuela de las calificaciones de los estudiantes y la variabilidad entre escuelas.
Esto da lugar a algo llamado agrupación parcial . Consideremos dos extremos:
Al estimar la variabilidad en ambos niveles, el modelo mixto logra un compromiso inteligente entre estos dos enfoques. Especialmente si el número de alumnos por centro no es muy elevado, esto significa que los efectos de los centros individuales estimados por el modelo 2 se reducirán con respecto a la media global del modelo 1.
Esto se debe a que los modelos dicen que si se tiene una escuela con dos estudiantes incluidos que es mejor de lo que es "normal" para la población de escuelas, entonces es probable que parte de este efecto se explique porque la escuela ha tenido suerte en la elección de los dos estudiantes considerados. No lo hace a ciegas, sino en función de la estimación de la variabilidad dentro de la escuela. Esto también significa que los niveles de efecto con menos muestras se inclinan más hacia la media general que las escuelas grandes.
Lo importante es que necesitas intercambiabilidad en los niveles del factor aleatorio. Eso significa en este caso que las escuelas son (desde tu conocimiento) intercambiables y no sabes nada que las haga distintas (aparte de algún tipo de ID). Si dispone de información adicional, puede incluirla como factor adicional; basta con que las escuelas sean intercambiables a condición de que se tenga en cuenta el resto de la información.
Por ejemplo, tendría sentido suponer que los adultos de 30 años que viven en Nueva York son canjeables en función del sexo. Si dispone de más información (edad, etnia, educación), también tendría sentido incluirla.
Por otra parte, si se tiene un estudio con un grupo de control y tres grupos de enfermedades muy diferentes, no tiene sentido modelar el grupo como aleatorio, ya que las enfermedades específicas no son intercambiables. Sin embargo, a muchas personas les gusta tanto el efecto de contracción que seguirían defendiendo un modelo de efectos aleatorios, pero esa es otra historia.
Me he dado cuenta de que no he entrado demasiado en las matemáticas, pero básicamente la diferencia es que el modelo de efectos aleatorios estimaba un error distribuido normalmente tanto en el nivel de las escuelas como en el nivel de los estudiantes, mientras que el modelo de efectos fijos tiene el error sólo en el nivel de los estudiantes. Esto significa especialmente que cada escuela tiene su propio nivel que no está conectado a los otros niveles por una distribución común. Esto también significa que el modelo fijo no permite extrapolar a un estudiante o escuela no incluidos en los datos originales, mientras que el modelo de efectos aleatorios sí lo permite, con una variabilidad que es la suma de la variabilidad a nivel de estudiante y a nivel de escuela. Si está interesado específicamente en la probabilidad, podríamos incluirla.
(+1) Una gran respuesta, sorprendentemente poco votada. He observado una errata confusa: "excluidos" debería decir "incluidos". Aparte de eso: ¿cuál sería un práctico ¿Diferencia entre tratar la escuela como efecto aleatorio o fijo? Entiendo que tratar como fijo no permitiría predecir el rendimiento de un alumno de un colegio nuevo, pero ¿qué pasa con las diferencias en los datos disponibles? Digamos que otros efectos fijos son el sexo, la raza y el peso (lo que sea) de los alumnos. ¿Tratar la escuela como aleatoria/fija influye en la potencia de los efectos principales o las interacciones de interés? ¿Alguna otra diferencia?
@amoeba Dejando a un lado la coherencia, el MSE en un coeficiente a nivel de estudiante puede ser más o menos eficiente en un modelo de efectos aleatorios frente a uno de efectos fijos dependiendo, entre otras cosas, del nivel de correlación entre el estudiante X y el efecto aleatorio, el número de conglomerados, etc. Clark y Linzer 2012 tiene resultados de simulación.
@conjugateprior ¡Vaya, muchas gracias por este comentario! He leído el artículo enlazado y es la explicación más clara del tema que he visto. He pasado una cantidad considerable de tiempo leyendo varios hilos aquí en CV sobre efectos fijos/aleatorios, pero no podía entender cuándo uno debe usar uno sobre otro y por qué. La lectura de C&L me aclaró muchas cosas. ¿Quizás quieras escribir una respuesta en algún lugar de CV presentando el resumen de este artículo y/o de otros relacionados? Estoy haciendo una recompensa en el hilo [de modelos mixtos] más votado y estaré encantado de concederte otra allí también.
En un paquete de software estándar (por ejemplo, R lmer ), la diferencia básica es:
Si estás siendo bayesiano (por ejemplo, WinBUGS), entonces no hay ninguna diferencia real.
No estoy de acuerdo en que no haya diferencia. Usted podría ajustar un modelo bayesiano de efectos fijos con todos los coeficientes que tienen priores separadas o un modelo bayesiano mixto donde hay hiperparámetros.
En economía, estos efectos son interceptos (o constantes) específicos de cada individuo que no se observan, pero que pueden estimarse utilizando datos de panel (observación repetida de las mismas unidades a lo largo del tiempo). El método de estimación de efectos fijos tiene en cuenta la correlación entre los interceptos específicos de la unidad y las variables explicativas independientes. El de efectos aleatorios no. El coste de utilizar los efectos fijos más flexibles es que no se puede estimar el coeficiente de las variables que son invariables en el tiempo (como el sexo, la religión o la raza).
N.B. Otros campos tienen su propia terminología, que puede resultar bastante confusa.
@Macro De acuerdo. Antes de que eso surja, sería útil saber si la terminología econ es lo que busca el OP. Debería haber sido más claro al respecto.
@Joke Un modelo de efectos fijos implica que el tamaño del efecto generado por un estudio (o experimento) es fijo, es decir, que si se repiten las mediciones de una intervención, el tamaño del efecto es el mismo. Si se realizan varios ensayos o estudios en condiciones diferentes, los tamaños del efecto serán distintos. Las estimaciones paramétricas de la media y la varianza para un conjunto de tamaños del efecto pueden realizarse suponiendo que se trata de efectos fijos o de efectos aleatorios (realizados a partir de una superpoblación). Creo que es una cuestión que puede resolverse con la ayuda de la estadística matemática.
I-Ciencias es una comunidad de estudiantes y amantes de la ciencia en la que puedes resolver tus problemas y dudas.
Puedes consultar las preguntas de otros usuarios, hacer tus propias preguntas o resolver las de los demás.
1 votos
Pues bien, los efectos fijos afectan a la media de una distribución conjunta y los efectos aleatorios afectan a la varianza y a la estructura de asociación. ¿Qué quiere decir exactamente con "diferencia matemática"? ¿Está preguntando cómo cambia la probabilidad? ¿Puede ser más específico?
1 votos
De posible interés: ¿Cuál es la diferencia entre los modelos de efectos aleatorios, fijos y marginales?
1 votos
También relacionado: ¿Cuál es la diferencia entre los modelos de efectos fijos, aleatorios y mixtos?
1 votos
La pregunta no parece distinguir el trasfondo del que parte. La terminología de la Economía de Datos de Panel es diferente de la de otras ciencias sociales que utilizan Modelos Multinivel. La pregunta requiere más aclaraciones. De lo contrario, resultará engañosa para quienes lleguen aquí desde uno u otro ámbito sin saber que existe una definición alternativa en un campo relacionado.