Demostrar que minimizar la varianza es igual a minimizar la distancia entre pares

Question

En relación con esta respuesta para la pregunta "Mejor estimación de un parámetro de ajuste a los datos medidos" ¿Puede demostrar que la minimización de la varianza estimada proporciona la misma solución que la minimización de la distancia entre pares?

Como referencia, he copiado la respuesta, que se demostró utilizando Mathematica para $N=20$ pero no para un genérico $N$ : $$\sum _{i=1}^N \left(y_i-\frac{\sum _{j=1}^N y_j}{N}\right)^2-\frac{\sum _{i=1}^N \sum _{j=i}^N \left(y_i-y_j\right){}^2}{N}=0, \text{with } N\to20$$

Intento escribir la petición de manera más formal (espero que tenga sentido): $$\arg\min_{\alpha \in \mathbb{R}} \mathrm{Var}[Y(\alpha)] = \arg\min_{\alpha \in \mathbb{R}} \sum\limits_{\substack{i=1\\j=i+1}}^{N} \left(y_i(\alpha)-y_j (\alpha) \right)^2$$ donde $\alpha$ es el parámetro que hay que estimar.

Answer 1

\begin{align} &\sum_{i=1}^{N-1} \sum_{j=i+1}^N (y_i - y_j)^2 \\ &=\sum_{i=1}^{N-1} \sum_{j=i+1}^N (y_i -\bar{y}+\bar{y}- y_j)^2 \tag{1} \\ &=\sum_{i=1}^{N-1} \sum_{j=i+1}^N (y_i -\bar{y})^2+\sum_{i=1}^{N-1} \sum_{j=i+1}^N ( y_j-\bar{y})^2 - 2\sum_{i=1}^{N-1} \sum_{j=i+1}^N (y_i-\bar{y})(y_j-\bar{y}) \tag{2}\\ &=\sum_{i=1}^{N-1} \sum_{j=i+1}^N (y_i -\bar{y})^2+\sum_{j=2}^N\sum_{i=1}^{j-1} ( y_j-\bar{y})^2 - \left( \sum_{i=1}^N \sum_{j=1}^N (y_i-\bar{y})(y_j-\bar{y}) - \sum_{i=1}^N(y_i - \bar{y})^2 \right) \tag{3}\\ &=\sum_{i=1}^{N-1} (N-i)(y_i -\bar{y})^2+\sum_{j=2}^N(j-1)( y_j-\bar{y})^2 \\&- \left( \sum_{i=1}^N (y_i-\bar{y})\sum_{j=1}^{N}(y_j-\bar{y}) - \sum_{i=1}^N(y_i - \bar{y})^2 \right) \tag{4}\\ &=\left((N-1)(y_1-\bar{y})^2+ \sum_{i=2}^{N-1} (N-i)(y_i -\bar{y})^2\right)\\&+\left(\sum_{j=2}^{N-1}(j-1)( y_j-\bar{y})^2 + (N-1)(y_N-\bar{y})\right) - \left(0 - \sum_{i=1}^n(y_i - \bar{y})^2 \right) \tag{5}\\ &=(N-1)(y_1-\bar{y})^2+ \sum_{i=2}^{N-1} (N-1)(y_i -\bar{y})^2 +(N-1)(y_N-\bar{y})+ \sum_{i=1}^n(y_i - \bar{y})^2 \tag{6} \\ &= (N-1) \sum_{i=1}^N (y_i - \bar{y})^2 + \sum_{i=1}^N (y_i - \bar{y})^2\\ &= N \sum_{i=1}^N (y_i - \bar{y})^2 \end{align}

• La primera igualdad se debe a que restamos y sumamos $\bar{y}$ .
• La segunda igualdad se debe a que utilizamos la ecuación $(a-b)^2=a^2+b^2-2ab$ .
• La tercera igualdad se debe a considerar una matriz $A$ donde el $(i,j)$ entrada es $(y_i-\bar{y})(y_j-\bar{y})$ entonces se trata de una matriz simétrica y la suma de las entradas no diagonales es igual a la suma de todas las entradas restando las entradas diagonales. Además, en el segundo término, cambia el orden de suma entre $i$ y $j$ .
• La cuarta igualdad. Para los dos primeros términos, simplificamos la suma interna y para el tercero, factorizamos $(y_i-\bar{y})$ .
• En la quinta igualdad, tratamos $i=1$ y $j=N$ por separado. El último término se debe a $\sum_{j=1}^N (y_j -\bar{y})=0$ .
• En la sexta igualdad, combinamos el mismo índice.