¿Cómo eliminar sistemáticamente las variables colineales (columnas pandas) en Python?

Question

Hasta ahora, he eliminado las variables colineales como parte del proceso de preparación de los datos, mirando las tablas de correlación y eliminando las variables que están por encima de un determinado umbral. ¿Existe una forma más aceptada de hacer esto? Además, soy consciente de que sólo mirar la correlación entre 2 variables a la vez no es ideal, las medidas como el VIF tienen en cuenta la correlación potencial a través de varias variables. ¿Cómo se puede elegir sistemáticamente combinaciones de variables que no presenten multicolinealidad?

Tengo mis datos dentro de un marco de datos de pandas y estoy usando los modelos de sklearn.

Answer 1

Gracias SpanishBoy - Es un buen trozo de código. @ilanman: Esto comprueba los valores del VIF y luego descarta las variables cuyo VIF es superior a 5. Por "rendimiento", creo que se refiere al tiempo de ejecución. El código anterior me llevó unas 3 horas para ejecutar unas 300 variables, 5000 filas.

Por cierto, lo he modificado para eliminar algunos bucles de más. Además, lo he hecho un poco más limpio y devuelve el dataframe con variables reducidas. Esta versión ha reducido el tiempo de ejecución a la mitad. Mi código está abajo- Espero que ayude.

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=5.0):
    variables = list(range(X.shape[1]))
    dropped = True
    while dropped:
        dropped = False
        vif = [variance_inflation_factor(X.iloc[:, variables].values, ix)
               for ix in range(X.iloc[:, variables].shape[1])]

        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X.iloc[:, variables].columns[maxloc] +
                  '\' at index: ' + str(maxloc))
            del variables[maxloc]
            dropped = True

    print('Remaining variables:')
    print(X.columns[variables])
    return X.iloc[:, variables]

Answer 2

Puedes intentar usar el siguiente código:

from statsmodels.stats.outliers_influence import variance_inflation_factor

def calculate_vif_(X):

    '''X - pandas dataframe'''
    thresh = 5.0
    variables = range(X.shape[1])

    for i in np.arange(0, len(variables)):
        vif = [variance_inflation_factor(X[variables].values, ix) for ix in range(X[variables].shape[1])]
        print(vif)
        maxloc = vif.index(max(vif))
        if max(vif) > thresh:
            print('dropping \'' + X[variables].columns[maxloc] + '\' at index: ' + str(maxloc))
            del variables[maxloc]

    print('Remaining variables:')
    print(X.columns[variables])
    return X

Funciona, pero no me gusta el rendimiento de ese enfoque

Answer 3

He probado la respuesta de SpanishBoy y he encontrado varios errores al ejecutarla para un marco de datos. Aquí hay una solución depurada.

from statsmodels.stats.outliers_influence import variance_inflation_factor    

def calculate_vif_(X, thresh=100):
cols = X.columns
variables = np.arange(X.shape[1])
dropped=True
while dropped:
    dropped=False
    c = X[cols[variables]].values
    vif = [variance_inflation_factor(c, ix) for ix in np.arange(c.shape[1])]

    maxloc = vif.index(max(vif))
    if max(vif) > thresh:
        print('dropping \'' + X[cols[variables]].columns[maxloc] + '\' at index: ' + str(maxloc))
        variables = np.delete(variables, maxloc)
        dropped=True

print('Remaining variables:')
print(X.columns[variables])
return X[cols[variables]]

Tampoco he tenido problemas con el rendimiento, pero no lo he probado exhaustivamente.