Estoy de acuerdo en que hay riesgos teóricos en las estrategias que no hacen que todo el mundo lea todo. Pero, tras haber tenido una considerable experiencia personal en la gestión y en la participación en grupos de revisión, puedo decir que también existen riesgos por la sobrecarga de revisores.
En parte, las soluciones razonables dependen de (1) si es natural dividir las aplicaciones en subcampos y (2) si realmente es necesario clasificar todo solicitudes, o sólo lo suficiente para determinar cuáles obtienen premios (en caso de que, digamos, haya fondos para que sólo se financie el 20%).
Estratificar inicialmente por campo: Podría dividir las propuestas en $g$ grupos, y elegir algunos revisores en subcampos relevantes para cada uno. A continuación, haga que todos (o un superpanel) elijan entre las propuestas mejor valoradas en cada subcampo. (Lo ideal es que en este último paso todos juzguen entre el doble de propuestas que pueden ser financiadas).
Probablemente lo mejor para la salud intelectual del área general sea que la financiación tenga una clara oportunidad de repartirse entre los subcampos, y esta estrategia estrategia se orienta a hacer esto posible.
Estratificar inicialmente por el historial de los revisores: Inevitablemente, algunos revisores son más duros que otros y algunos son mejores para detectar investigaciones prometedoras que otros. En la medida en que los revisores actuales hayan prestado sus servicios anteriormente, examine el desempeño anterior e intente calificarlos (aunque sea de forma aproximada y cualitativa) en ambas escalas. A continuación, asegúrese de que los subpaneles tengan un equilibrio de revisores. También en este caso, un grupo más amplio elige entre las propuestas mejor valoradas por los subpaneles.
(Sinceramente, esto sólo puede funcionar si es administrativa y legalmente factible que las calificaciones de los revisores sean confidenciales).
Estrategias de diseño estadístico: Puede buscar estructuras de diseño como los "diseños incompletos equilibrados" y los "diseños incompletos parcialmente equilibrados". Entonces, en la medida en que lo permita el diseño, asigne las propuestas a los bloques de forma aleatoria. Este tipo de diseños puede garantizar que las propuestas sean leídas por "bloques" de revisores que se solapen, de modo que al final haya una base para la clasificación general. La clasificación estadística, en lugar de un panel final más amplio, determina las adjudicaciones finales.
Esto puede sonar muy bien, y ciertamente es mejor que nada. Pero mi experiencia personal es que los paneles iniciales basados en subcampos y/o equilibrados por el historial de los revisores han dado lo que yo consideraba resultados más justos.
Nota: Podría ser interesante obtener respuestas a esta pregunta en nuestro sitio hermano "Academia".
1 votos
Dado que se trata de una revisión de subvenciones, parece que lo que le interesa es identificar el X% de las mejores propuestas, más que una clasificación real de todas las propuestas, ¿es correcto? Además, ¿es posible hacerlo por fases? Tal vez cada revisor podría identificar las mejores propuestas entre un subconjunto y, a continuación, esas mejores subvenciones serían debatidas por un grupo más amplio.