Deserción en regresión lineal

Question

He estado leyendo el documento original sobre el abandono escolar ( https://www.cs.toronto.edu/~hinton/absps/JMLRdropout.pdf ) y en la sección de regresión lineal, se afirma que:

$\mathbb{E}_{R\sim Bernoulli(p)}\left[\| y\ - (R*X)w\|^2\right]$

reduce a:

$\|y - pXw\|^2 + p(1-p) \|\Gamma w\|^2$

Estoy teniendo problemas para entender cómo llegaron a este resultado. ¿Alguien puede ayudar?

Answer 1

$\newcommand{E}{\text{E}}$Primero vamos a $R * X = M$ por conveniencia. La expansión de la pérdida que hemos $$ \|y - Mw\|^2 = y^Ty - 2w^TM^Ty + w^TM^TMw. $$ Teniendo la expectativa de w.r.t. $R$ hemos $$ \E_R\left(\|y - Mw\|^2\right) = y^Ty - 2w^T(\E M)^Ty + w^T\E(M^TM)w. $$ El valor esperado de una matriz es la matriz de las células sabio valores esperados, por lo que $$ (\E_R M)_{ij} = \E_R((R * X)_{ij}) = X_{ij}\E_R(R_{ij}) = p X_{ij} $$ así $$ 2w^T(\E M)^Ty = 2pw^TX^Ty. $$ Para el último término, $$ (M^TM)_{ij} = \sum_{k=1}^N M_{ki}M_{kj} = \sum_{k=1}^N R_{ki}R_{kj}X_{ki}X_{kj} $$ por lo tanto $$ (\E_R M^TM)_{ij} = \sum_{k=1}^N \E_R(R_{ki}R_{kj})X_{ki}X_{kj}. $$ Si $i \neq j$ a continuación, son independientes por lo que el fuera de la diagonal de los elementos de resultado en $p^2 (X^TX)_{ij}$. Para los elementos de la diagonal tenemos $$ \sum_{k=1}^N \E_R(R_{ki}^2)X_{ki}^2 = p(X^TX)_{ii}. $$

Acabado esto, podemos notar que $$ \|y - pXw\|^2 = y^Ty - 2pw^TX^Ty + p^2 w^TX^TXw $$ y nos hemos encontrado $$ \E_R\|y - Mw\|^2 = y^Ty - 2pw^TX^Ty + w^T\E_R(M^TM)w \\ = \|y - pXw\|^2 - p^2w^TX^TXw + w^T\E_R(M^TM)w \\ = \|y - pXw\|^2 + w^T\left(\E_R(M^TM) - p^2 X^TX\right)w. $$ En $\E_R(M^TM) - p^2 X^TX$, me mostró que cada diagonal elemento es cero, por lo que el resultado es $$ \E_R(M^TM) - p^2 X^TX = p(1-p)\text{diag}(X^TX). $$ El documento define la $\Gamma = \text{diag}(X^TX)^{1/2}$ lo $\|\Gamma w\|^2 = w^T\text{diag}(X^TX)w$ lo que significa que hemos terminado.