Entrenamiento de un modelo en una amplia población de pacientes, y luego pruebas en un subconjunto específico de la población

Question

Esta es una pregunta que me ha estado molestando porque veo esta práctica realizada en muchos documentos médicos. El escenario es el siguiente: se crea un modelo de pronóstico a partir de una población general de pacientes con cáncer de mama con criterios de exclusión razonables, como la ausencia de cáncer previo. Tus variables acaban siendo la edad, el estado del receptor HER2 y el estado del receptor de estrógeno. Lo que veo en muchos artículos es que los autores validan el modelo, pero luego también lo prueban en múltiples grupos de pacientes con características muy específicas. Por ejemplo, prueban el rendimiento sólo en pacientes HER2+ y ER+, o sólo en pacientes jóvenes en estadio III. Luego dicen cosas como: "el modelo funcionó bien en pacientes ER+/HER2- pero no en pacientes HER2+ en general".

Algo en mi interior me dice que no es una buena práctica entrenar un modelo en una amplia población de pacientes y luego probarlo en múltiples subconjuntos diferentes de pacientes (por ejemplo, sólo los pacientes en estadio III, o sólo los pacientes <50 años que son negros). No soy estadístico de formación, así que no tengo pruebas de ello. ¿Alguien sabe si hay problemas de sesgo con esta práctica?

Answer 1

No es tanto que haya un problema de parcialidad. Es que la investigación parece ineficiente y se lograría más incluyendo estas subpoblaciones (y las variables que las definen) en la modelización. Estoy de acuerdo con @user12719 en que sin duda sería útil incluir covariables adicionales, y añadiría que las interacciones estadísticas podrían surgir como relevantes también. Es decir, no sólo el modelo original podría beneficiarse de nuevas covariables, y no sólo podría funcionar mejor o peor al considerar los subgrupos definidos por esas covariables, sino que ciertos predictores podrían ser más grandes o más pequeños, o incluso cambiar de signo, dependiendo del subgrupo considerado. El método que ha descrito parece pasar por alto gran parte de esto.