Cada semana, mi $m-1$ amigos y yo entramos a un pub quiz el cual ha $n$ de los puntos disponibles. En cualquier semana dada sólo a algunos de nosotros están allí. Registro de la presencia/ausencia de miembro de la $i$ en la semana $t$ en la matriz $x_{ti}$.
Me gustaría construir un modelo predictivo para el número de puntos que la puntuación en cualquiera de las semanas, dependiendo de quién los haya. Un modelo simple es asumir que cada pregunta es igual de duro, y que el jugador $i$ probabilidad de $p_i$ de saber cualquier pregunta. Entonces la probabilidad de que se obtenga un determinado pregunta correcta es
$$q({\bf x},{\bf p}) = 1 - \prod_{i=1}^m(1-p_i)^{x_i}$$
Por lo tanto, la probabilidad de que la puntuación $k$ puntos es
$$P({\rm Score} = k|{\bf x},{\bf p}) = {n\choose k}q^k(1-q)^{n-k}$$
y la log-verosimilitud para un determinado ${\bf p}$ ${\bf x}$ es
$$L = \log {n\choose k} + k\log q + (n-k)\log(1-q)$$
Puedo escribir un numérica de la rutina que maximiza el este, para encontrar la máxima probabilidad estimador $\bf p$. Sin embargo, la estimación resultante mal overfits los datos (como puede ser detectado por validación cruzada).
Una buena solución parece ser la introducción de una pena (regularización) plazo en $L$, lo que penaliza a los pequeños o grandes probabilidades. Como yo lo entiendo, esto es equivalente a tener un previo en $\bf p$. Sin embargo, no sé cuál es la forma de este estado debe ser. Dos opciones sencillas para el término de penalización son:
$$\| {\bf p} - 1/2\|^2$$
y
$$-\sum_i\log \left( \frac{p_i}{1-p_i}\right)$$
pero estos son muy ad-hoc. Yo estaría interesado en saber lo que un adecuado conjugado antes de es (si existe). Cualquier sugerencias?
