El mejor método para comparar índices

Question

He implementado tres estimaciones diferentes para medir el mismo carácter, y me gustaría compararlas estadísticamente (para ver si efectivamente miden exactamente la misma señal, o si dan información diferente). ¿Cómo puedo hacerlo?

La prueba de correlación siempre encuentra una correlación significativa, pero como las estimaciones miden lo mismo...

Puede echar un vistazo al conjunto de datos aquí

Answer 1

Ahora que se han publicado los datos, algunos análisis sencillos ayudan a aclarar la situación.

Vamos a mostrar (la mitad de) una matriz de dispersión.

Hay mucha dispersión. A y B son claramente los más parecidos; C es muy diferente a B pero muestra más relación con A. No hay problemas de valores atípicos extraordinarios ni de curvatura masiva.

Las correlaciones de concordancia cuantifican esto sin añadir información:

A B  0.704 
B C  0.363 
A C  0.638   

Las correlaciones de concordancia miden la concordancia, no la linealidad, y son 1 si y sólo si dos variables tienen valores idénticos.

El análisis de componentes principales lo basaría en una matriz de covarianza, ya que parece que las unidades de medida son idénticas. Estos resultados (de Stata) no coinciden con los de los comentarios del OP:

. pca A B C, cov

Principal components/covariance                   Number of obs    =        70
                                                  Number of comp.  =         3
                                                  Trace            =  .1942012
    Rotation: (unrotated = principal)             Rho              =    1.0000

    --------------------------------------------------------------------------
       Component |   Eigenvalue   Difference         Proportion   Cumulative
    -------------+------------------------------------------------------------
           Comp1 |      .153565      .123528             0.7908       0.7908
           Comp2 |     .0300363     .0194362             0.1547       0.9454
           Comp3 |     .0106001            .             0.0546       1.0000
    --------------------------------------------------------------------------

Principal components (eigenvectors) 

    ----------------------------------------------------------
        Variable |    Comp1     Comp2     Comp3 | Unexplained 
    -------------+------------------------------+-------------
               A |   0.6037    0.1114   -0.7894 |           0 
               B |   0.4836    0.7360    0.4738 |           0 
               C |   0.6337   -0.6678    0.3904 |           0 
    ----------------------------------------------------------

Así, con una entrada de matriz de covarianza, el PCA muestra el PC1 con el 79% del total. (El uso de una matriz de correlación produce el mismo resultado redondeado del 79% para la primera PC; de los gráficos se desprende que las varianzas de las variables son similares).

Personalmente, no juntaría A, B y C y tomaría PC 1 como la mejor medida de una variable latente. O bien C es la medida más pobre y debería descartarse y combinar A y B; o bien podría haber motivos bastante independientes para pensar que C es el mejor método, en cuyo caso debería utilizarse. Pensemos en tres testigos en un tribunal: dos mentirosos pueden estar de acuerdo entre sí y estar en desacuerdo con una persona honesta. La mayoría no tiene por qué ser correcta. Por el contrario, en un criterio de consenso o coherencia, C parece el más pobre.

EDIT: Aquí hay un gráfico de cuantiles, que subraya lo que los gráficos de dispersión muestran, pero con menos claridad, que es que C es típicamente más pequeño.