¿Tamaño de la muestra para la regresión logística?

Question

Quiero hacer un modelo logístico a partir de los datos de mi encuesta. Se trata de una pequeña encuesta en cuatro colonias residenciales en la que sólo se entrevistó a 154 personas. Mi variable dependiente es "transición satisfactoria al trabajo". Encontré que, de los 154 encuestados, 73 dijeron que habían hecho una transición satisfactoria al trabajo, mientras que el resto no. Por tanto, la variable dependiente es de naturaleza binaria y decidí utilizar la regresión logística. Tengo siete variables independientes (tres continuas y cuatro nominales). Una directriz sugiere que debe haber 10 casos para cada variable predictiva/independiente (Agresti, 2007). Basándome en esta directriz, creo que es correcto realizar la regresión logística.

¿Estoy en lo cierto? Si no es así, por favor, indíqueme cómo decidir el número de variables independientes.

Answer 1

Hay varias cuestiones aquí.

Normalmente, queremos determinar un tamaño mínimo de muestra para conseguir un nivel mínimamente aceptable de poder estadístico . El tamaño de la muestra necesario es una función de varios factores, principalmente la magnitud del efecto que se quiere diferenciar de 0 (o cualquier nulo que se utilice, pero el 0 es el más común), y la probabilidad mínima de captar ese efecto que se quiere tener. Trabajando desde esta perspectiva, el tamaño de la muestra se determina mediante un análisis de potencia.

Otra consideración es la estabilidad de su modelo (como señala @cbeleites). Básicamente, a medida que la relación entre los parámetros estimados y el número de datos se acerque a 1, su modelo se saturará y necesariamente sea overfit (a menos que, de hecho, no haya aleatoriedad en el sistema). La regla general de la proporción de 1 a 10 proviene de esta perspectiva. Ten en cuenta que tener una potencia adecuada generalmente te cubrirá esta preocupación, pero no a la inversa.

Sin embargo, la regla de 1 a 10 proviene del mundo de la regresión lineal, y es importante reconocer que la regresión logística tiene complejidades adicionales. Una cuestión es que la regresión logística funciona mejor cuando los porcentajes de 1 y 0 son aproximadamente del 50% / 50% (como @andrea y @psj discuten en los comentarios anteriores). Otra cuestión a tener en cuenta es separación . Es decir, no quiere tener todos los 1 reunidos en un extremo de una variable independiente (o alguna combinación de ellos), y todos los 0 en el otro extremo. Aunque esto parecería una buena situación, porque facilitaría la predicción perfecta, en realidad hace que el proceso de estimación de los parámetros se dispare. (@Scortchi tiene una excelente discusión sobre cómo tratar la separación en la regresión logística aquí: ¿Cómo tratar la separación perfecta en la regresión logística? ) Con más IV, esto es más probable, incluso si las verdaderas magnitudes de los efectos se mantienen constantes, y especialmente si sus respuestas están desequilibradas. Por lo tanto, puede necesitar fácilmente más de 10 datos por IV.

Un último problema con esa regla general, es que asume que tus IV's son ortogonal . Esto es razonable para los experimentos diseñados, pero con estudios observacionales como el suyo, sus IV casi nunca serán aproximadamente ortogonales. Existen estrategias para abordar esta situación (por ejemplo, combinar o eliminar los IV, realizar primero un análisis de componentes principales, etc.), pero si no se aborda (lo que es habitual), necesitará más datos.

Una pregunta razonable es, entonces, ¿cuál debería ser su N mínimo, y/o es su tamaño de muestra suficiente? Para abordar esta cuestión, le sugiero que utilice los métodos que expone @cbeleites; basarse en la regla de 1 a 10 será insuficiente.

Answer 2

Suelo utilizar una regla de 15:1 (relación entre el mínimo (eventos, no eventos) y el número de candidato parámetros en el modelo). Trabajos más recientes ha descubierto que para una validación más rigurosa se necesita 20:1. Se puede encontrar más información en los folletos de mi curso enlazados con http://hbiostat.org/rms En particular, un argumento para un tamaño de muestra mínimo de 96 sólo para estimar el intercepto. Pero el requisito del tamaño de la muestra es más matizado, y un un documento aún más reciente aborda esta cuestión de forma más exhaustiva.

Answer 3

Por lo general, un número insuficiente de casos en relación con la complejidad del modelo (número de parámetros) significa que los modelos son inestable . Por lo tanto, si quiere saber si el tamaño de la muestra/la complejidad del modelo está bien, compruebe si obtiene un modelo razonablemente estable.

Hay (al menos) dos tipos diferentes de inestabilidad:

1. El parámetros del modelo varían mucho con sólo ligeros cambios en los datos de entrenamiento.

2. El predicciones (para el mismo caso) de los modelos entrenados con ligeros cambios en los datos de entrenamiento varían mucho.

Se puede medir 1. observando cuánto varían los coeficientes de su modelo si se perturban ligeramente los datos de entrenamiento. Se puede calcular un grupo adecuado de modelos, por ejemplo, durante los procedimientos de validación cruzada (iterada) o bootstrap.

Para algunos tipos de modelos o problemas, la variación de los parámetros no implica la variación de las predicciones. Se puede comprobar directamente la inestabilidad 2. observando la variación de las predicciones para el mismo caso (independientemente de si son correctas o no) calculadas durante la validación cruzada fuera de la rutina o iterada.

Answer 4

No hay reglas estrictas, pero puede incluir todas las variables independientes siempre que las variables nominales no tengan demasiadas categorías. Necesita una "beta" para todas las clases excepto una para cada variable nominal. Así, si una variable nominal es, por ejemplo, "área de trabajo" y tiene 30 áreas, necesitará 29 betas.

Una forma de superar este problema es regularizar las betas, o penalizar los coeficientes grandes. Esto ayuda a garantizar que el modelo no se ajuste en exceso a los datos. La regularización L2 y L1 son opciones populares.

Otra cuestión a tener en cuenta es la representatividad de la muestra. ¿Qué población quiere inferir? ¿Tiene todos los tipos de personas en la muestra que hay en la población? Será difícil hacer una inferencia precisa si su muestra tiene "agujeros" (por ejemplo, no hay mujeres de 35 a 50 años en la muestra o no hay trabajadores con ingresos altos, etc.)

Answer 5

Este artículo presenta una fórmula para determinar el tamaño adecuado de la muestra para un análisis de regresión logística basado en la información del número de covariables y la proporción de 1 y 0 en el conjunto de datos.

http://www.medcalc.org/manual/logistic_regression.php