Por lo general, el esquema de recompensa/penalización por defecto para un examen de verdadero/falso es otorgar 1 punto por una respuesta correcta y quitar 1 punto por una respuesta incorrecta, de modo que el valor esperado por responder al azar es cero (ya que responder al azar es generalmente la estrategia óptima de menor valor para responder que se puede elegir, y los responsables del examen quieren que esta estrategia sea equivalente a no responder en absoluto).
En tu caso, estás preguntando si hay alguna manera de intentar cambiar las recompensas y las penalizaciones hacia arriba o hacia abajo para que sólo la gente con cierta confianza en su respuesta se moleste en responder a la pregunta (para maximizar las "respuestas basadas en la habilidad" y minimizar las "respuestas basadas en la suerte"). En el esquema por defecto anterior, cualquier confianza superior a "no lo sé en absoluto, así que voy a adivinar al azar" obtendrá una recompensa positiva, pero el valor esperado por responder al azar es cero. Cualquier esquema que maximice las "respuestas basadas en la destreza" tendrá que establecer este valor esperado por debajo de cero.
En el caso de las preguntas de verdadero/falso y de las preguntas de opción múltiple en general, lo único que se puede hacer realmente es modificar la penalización de las respuestas erróneas para cambiar el valor esperado de la respuesta al azar. Dependiendo del nivel de confianza que requiera para que una respuesta sea una "respuesta basada en la habilidad", este valor será diferente.
En mi clase de probabilidad de hace dos trimestres, formulamos el modelo de "respuesta basada en la habilidad" como sigue: Si un estudiante es $x$ % de confianza en su respuesta, elegirá la respuesta correcta con $x$ % de probabilidad y adivinar al azar en caso contrario. En su situación, fijaría el valor esperado para este nivel de confianza mínimo en cero imponiendo la penalización adecuada.
Por ejemplo, si exige un 70% de posibilidades de que el alumno conozca la respuesta y adivine al azar en caso contrario, establezca la penalización por una respuesta incorrecta en $-5.6666666$ (es decir, -85/15), porque con un 70% de confianza, el alumno cree que responderá correctamente el 85% de las veces y de forma incorrecta el 15%. Si necesita un 99,9% de confianza, fije la penalización en $-1999$ (-99.95/0.05).
Lo que habría que probar experimentalmente es qué nivel de confianza requerido es lo suficientemente alto como para bloquear las respuestas basadas en la suerte, pero lo suficientemente bajo como para mantener las respuestas basadas en la habilidad. Sin embargo, no estoy seguro de cómo se puede probar esto, ya que la estrategia de cada estudiante es diferente y siempre es posible que un estudiante confíe en la respuesta incorrecta.
Ten en cuenta que con este esquema, las puntuaciones serán mucho más bajas de lo que esperas (ya que habrá muchas respuestas en blanco de examinados descontentos), y tendrás que ajustar la nota de aprobado en consecuencia. Ten en cuenta también que, debido al gran número de respuestas en blanco, tendrás que tener muchas más preguntas sólo para mantener la resolución de los resultados del examen por encima de un cierto nivel. Independientemente de cómo se corte el esquema, una prueba en la que sólo se haya respondido una media de una pregunta no tendrá la baja varianza que usted busca.
En general, sin embargo, las preguntas de verdadero/falso con esquemas de penalización no son una buena forma de evaluar los conocimientos de los alumnos en un examen, porque desaniman a los estudiantes a intentar responder a una pregunta, aunque puedan conocer la respuesta y no sepan que la saben. También son terribles a la hora de discernir una suposición afortunada de una respuesta correctamente planteada (y una suposición desafortunada de una respuesta incorrectamente planteada), independientemente de cómo se intente y se repartan las penalizaciones, ya que al final sólo hay tres resultados posibles (verdadero / falso / sin respuesta).
