Evitar la discriminación social en la construcción de modelos

Question

Tengo preguntas inspiradas en el reciente escándalo de contratación de Amazon, donde se les acusó de discriminar a las mujeres en su proceso de contratación. Más información aquí :

Los especialistas en aprendizaje automático de Amazon.com Inc. descubrieron un gran problema: su nuevo motor de reclutamiento no le gustaban las mujeres.
El equipo llevaba desde 2014 construyendo programas informáticos para revisar los currículos de los solicitantes de empleo con el objetivo de mecanizar la búsqueda de los mejores talentos...
... La herramienta de contratación experimental de la empresa utiliza la inteligencia artificial para dar a los candidatos a un puesto de trabajo puntuaciones que van de una a cinco estrellas...
... Pero en 2015, la empresa se dio cuenta de que su nuevo sistema no calificaba a los candidatos a puestos de desarrollador de software y otros puestos técnicos de manera neutral en cuanto al género.
Esto se debe a que los modelos informáticos de Amazon fueron entrenados para investigar a los candidatos mediante la observación de patrones en los currículos enviados a la empresa durante un período de 10 años. La mayoría procedía de hombres, lo que refleja el predominio masculino en el sector tecnológico. (Para ver un gráfico sobre el desglose por sexos en la tecnología, véase: aquí ) En efecto, el sistema de Amazon se enseñó a sí mismo que los candidatos masculinos eran preferibles. Penalizó los currículos que incluían la palabra "de mujeres", como en "capitán del club de ajedrez de mujeres". Y rebajó la categoría de los graduados de dos universidades exclusivamente femeninas, según personas familiarizadas con el asunto. No especificaron los nombres de las escuelas.
Amazon editó los programas para hacerlos neutrales a estos términos particulares. Pero eso no garantizaba que las máquinas no idearan otras formas de clasificar a los candidatos que pudieran resultar discriminatorias, dijeron las personas.
La empresa de Seattle acabó disolviendo el equipo a principios del año pasado porque los ejecutivos perdieron la esperanza en el proyecto...
... El experimento de la empresa... ofrece un caso de estudio sobre las limitaciones del aprendizaje automático.
... informáticos como Nihar Shah, profesor de aprendizaje automático en la Universidad Carnegie Mellon, afirman que aún queda mucho trabajo por hacer.
"Cómo garantizar que el algoritmo sea justo, cómo asegurarse de que el algoritmo sea realmente interpretable y explicable eso aún está muy lejos", dijo.

LENGUAJE MASCULINO
[Crearon un equipo en el centro de ingeniería de Amazon en Edimburgo que llegó a tener una docena de personas. Su objetivo era desarrollar una IA que pudiera rastrear rápidamente la web y detectar candidatos que merecieran ser contratados, dijeron las personas familiarizadas con el asunto.
El grupo creó 500 modelos informáticos centrados en funciones y lugares de trabajo específicos. Enseñaron a cada uno de ellos a reconocer unos 50.000 términos que aparecían en los currículos de candidatos anteriores. Los algoritmos aprendieron a asignar poca importancia a las habilidades que eran comunes entre los solicitantes de TI, como la capacidad de escribir varios códigos informáticos...
En cambio, la tecnología favoreció a las candidatas que se describían a sí mismas utilizando verbos más comunes en los currículos de los ingenieros varones, como "ejecutado" y "capturado", dijo una persona.

Digamos que quiero construir un modelo estadístico para predecir algún resultado a partir de datos personales, como una clasificación de cinco estrellas para ayudar a reclutar nuevas personas. Supongamos que también quiero evitar la discriminación de género, como una restricción ética. Dados dos perfiles estrictamente iguales, aparte del género, el resultado del modelo debe ser el mismo.

1. ¿Debo utilizar el género (o cualquier dato correlacionado con él) como entrada e intentar corregir su efecto, o evitar utilizar estos datos?

2. ¿Cómo puedo comprobar la ausencia de discriminación por razón de sexo?

3. ¿Cómo corrijo mi modelo para los datos que son estadísticamente discriminantes pero que no quiero por razones éticas?

Answer 1

Esto no es una respuesta a tu pregunta, sino unas cuantas reflexiones que son demasiado largas para caber en un comentario.

Creo que un problema que debemos tener en cuenta al pensar en estas cuestiones es que cada modelo discrimina y lo harán sobre la base de cualquier asociación presente en los datos. Ese es, sin duda, el objetivo de un modelo de predicción. Por ejemplo, los hombres son realmente más propensos a cometer delitos que las mujeres, por lo que casi cualquier modelo que tenga acceso a esta información hará esa inferencia.

Pero eso no significa que debamos condenar a alguien en parte por su sexo, aunque un hombre parezca generalmente más propenso a haber cometido un delito (en igualdad de condiciones). Más bien deberíamos exigir directo pruebas de un delito a la hora de tomar tales decisiones, y no información sobre la mera asociación. Como otro ejemplo: ¿las personas que tienen más probabilidades de enfermar realmente merecen ¿pagar primas de seguro más altas?

Así que cuando se trata de la discriminación, yo diría que la cuestión tiene que ver más con la ética aplicación En lugar de que los propios modelos sean injustos. Si nos preocupa perpetuar la discriminación u otros resultados injustos al utilizar un modelo en una situación determinada, entonces quizás no deberíamos utilizar un modelo.

Answer 2

Solía trabajar en un proyecto para desarrollar las mejores prácticas de gestión de software. Observé a unos cincuenta equipos de software sobre el terreno. Nuestra muestra era de unos 77, pero acabamos viendo unos cien equipos. Además de recopilar datos sobre cosas como certificaciones, títulos y demás, también recogimos una serie de datos psicológicos y demográficos.

Los equipos de desarrollo de software tienen algunos efectos de autoselección muy significativos que, aunque no tienen nada que ver con el género, están fuertemente correlacionados con él. Además, los directivos tienden a reproducirse a sí mismos. La gente contrata a personas con las que se siente cómoda, y se siente más cómoda consigo misma. También hay pruebas de que se califica a las personas con un sesgo cognitivo. Imaginemos que, como directivo, valoro mucho la puntualidad en la llegada al trabajo. En ese caso, lo califico en función de eso. Otro directivo, al que sólo le importa que el trabajo se haga, puede calificar algo totalmente diferente como importante.

Has señalado que los hombres utilizan el lenguaje de forma diferente, pero también es cierto que las personas con diferentes personalidades utilizan el lenguaje de forma diferente. También puede haber diferencias étnicas en el uso del lenguaje; véase, por ejemplo, la actual controversia en Harvard y las admisiones asiáticas.

Ahora supones que las empresas de software discriminan a las mujeres, pero hay otra forma de discriminación de género en la industria del desarrollo de software que no has tenido en cuenta. Cuando se controlan aspectos objetivos como las certificaciones, los títulos, la permanencia en el puesto, etc., la mujer media gana un 40% más que el hombre medio. Hay tres fuentes de discriminación laboral en el mundo.

La primera es que los directivos o los propietarios no desean contratar a alguien por alguna característica. La segunda es que los compañeros no desean trabajar con las personas que tienen esa característica. La tercera es que los clientes no quieren a las personas que tienen una característica. Parece que la discriminación salarial la provocan los clientes porque el producto del trabajo es diferente y, desde la perspectiva de los clientes, también mejor. Esta misma característica hace que los higienistas dentales varones cobren menos que las mujeres. También se observa en un sesgo hacia los "nacidos aquí" en los salarios del fútbol mundial.

El mejor control para esto es entender sus datos y las fuerzas sociales implicadas. Cualquier empresa que utilice sus propios datos tenderá a reproducirse a sí misma. Eso puede ser algo muy bueno, pero también podría hacerles ciegos a las fuerzas en juego. El segundo control es comprender su función objetivo. Los beneficios pueden ser una buena función, pero puede ser una mala función. Hay valores en juego en la selección de una función de pérdida objetiva. Por último, está la cuestión de contrastar los datos con los datos demográficos para determinar si se está produciendo una desafortunada discriminación.

Por último, y esto es un problema mayor en cosas como la IA, donde no se pueden obtener buenas estadísticas interpretativas, se querrá controlar la paradoja de Yule. El ejemplo histórico clásico es el descubrimiento de que el 44% de los hombres fueron aceptados en la Universidad de Berkley, mientras que sólo el 35% de las mujeres fueron admitidas en 1973. Era una diferencia enorme y estadísticamente significativa. También era engañosa.

Esto era evidentemente escandaloso, por lo que la universidad decidió analizar cuáles eran las carreras que delinquían. Resultó que cuando se controlaba la especialidad, había un sesgo estadísticamente significativo a favor de la admisión de mujeres. De las ochenta y cinco carreras, seis tenían un sesgo a favor de las mujeres y cuatro a favor de los hombres, el resto no era significativo. La diferencia radica en que las mujeres solicitan de forma desproporcionada las carreras más competitivas y, por lo tanto, pocos de ambos sexos son admitidos. Los hombres solicitaban en mayor medida las carreras menos competitivas.

Si se añade la paradoja de Yule, se crea una capa aún más profunda de discriminación. Imagina que, en lugar de una prueba de género, hubiera una prueba de género por tipo de trabajo. Podrías pasar una prueba neutral de género en toda la empresa pero fallar en el nivel de la tarea. Imagina que sólo se contratara a mujeres para V&V y sólo a hombres para la administración de sistemas. Parecerías neutral en cuanto al género, y no lo serías.

Una posible solución a esto es ejecutar IAs competitivas que utilicen diferentes criterios objetivos de "bondad". El objetivo es ampliar la red, no estrecharla. Esto también puede ayudar a evitar otro problema en la literatura de gestión. Mientras que el 3% de los hombres son sociópatas, ese número aumenta sustancialmente a medida que se asciende en la escala corporativa. No hay que filtrar a los sociópatas.

Por último, es posible que no quiera considerar el uso de la IA para ciertos tipos de puestos. Ahora mismo estoy buscando trabajo. También estoy seguro de que me están filtrando, y no he descubierto cómo evitarlo. Estoy sentado en una nueva tecnología muy disruptiva. El problema es que mi trabajo no coincide con las palabras mágicas. En cambio, tengo el siguiente conjunto de palabras mágicas. Ahora mismo, valgo una fortuna para la empresa adecuada, pero en un caso en el que me presenté, recibí un rechazo automático en menos de un minuto. Tengo un amigo que ha sido director de información de agencias federales. Solicitó un puesto de trabajo en el que el director de contratación estaba esperando a que llegara su solicitud para que le ofrecieran el trabajo. Nunca llegó porque los filtros la bloquearon.

Esto plantea el segundo problema de la IA. Si puedo averiguar, a partir de los currículos en línea, a quién contrata Amazon, entonces puedo redactar mi currículo por arte de magia. De hecho, ahora mismo estoy trabajando en mi currículum para que se ajuste a los filtros no humanos. También me doy cuenta, por los correos electrónicos de los reclutadores, de que algunas partes de mi currículum se amplían y otras se ignoran. Es como si el proceso de reclutamiento y contratación hubiera sido asumido por un software como Prolog. ¿Se cumplen las restricciones lógicas? Sí. Este es el candidato o conjunto de candidatos óptimos. ¿Son óptimos?

No hay una respuesta preconcebida a tu pregunta, sino problemas que hay que solucionar.

Answer 3

Este documento ofrece una excelente visión general de cómo sortear los prejuicios de género, especialmente en los modelos basados en el lenguaje: ¿El hombre es al programador de ordenadores lo que la mujer es al ama de casa? Debiasing Word Embeddings - Bolukbasi et. al. . Un buen resumen del blog puede encontrarse aquí:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Aquí encontrará un compendio más amplio de recursos:

https://developers.google.com/machine-learning/fairness-overview/

En los enlaces anteriores encontrarás un montón de técnicas para mitigar el sesgo de género. En general, se dividen en tres clases:

1) Submuestreo o sobremuestreo de los datos. Con ello se pretende sobremuestrear los currículos femeninos de alta calidad y submuestrear los currículos masculinos.

2) Restar el "subespacio de género". Si su modelo tiene un sesgo de género, podría demostrarlo utilizando sus incrustaciones de currículum para predecir directamente el género. Después de construir ese modelo auxiliar (incluso sólo muestreando los términos comunes que pertenecen a cualquiera de los dos géneros, y aplicando luego el PCA), puede en efecto sustraer esta dimensión del modelo, normalizando el currículum para que sea neutral en cuanto al género. Esta es la principal técnica utilizada en el artículo de Bolukbasi.

3) Aprendizaje Adversarial. En este caso se intenta generar datos adicionales tratando de generar más versiones de currículos femeninos de alta calidad que, por lo demás, no se distinguen de los currículos reales.

Answer 4

Lo que muestra la historia de Amazon es que es muy difícil evitar el sesgo . Dudo que Amazon contratara a gente tonta para este problema, o que les faltaran habilidades, o que no tuvieran suficientes datos, o que no tuvieran suficientes créditos AWS para entrenar un modelo mejor. El problema era que los complicados algoritmos de aprendizaje automático son muy buenos para aprender patrones en los datos, el sesgo de género es exactamente ese tipo de patrón. Había un sesgo en los datos, ya que los reclutadores (conscientemente o no), favorecían a los candidatos masculinos. No estoy diciendo aquí que Amazon sea una empresa que discrimina a los candidatos a un puesto de trabajo, estoy seguro de que tienen miles de políticas antidiscriminatorias y también contratan a muy buenos reclutadores. El problema con este tipo de sesgos y prejuicios es que existen por mucho que se intente luchar contra ellos. Hay montones de experimentos de psicología que demuestran que la gente puede declarar no ser tendenciosa (por ejemplo, racista), pero aún así realiza acciones tendenciosas, sin siquiera darse cuenta. Pero respondiendo a tu pregunta, para tener un algoritmo que no esté sesgado, tendrías que empezar con datos que estén libres de este tipo de sesgo. Los algoritmos de aprendizaje automático aprenden a reconocer y repetir los patrones que ven en los datos, así que si tus datos registran decisiones sesgadas, el algoritmo probablemente aprenderá y amplificará esos sesgos.

Lo segundo es la gestión de los datos. Si quieres evitar que tu algoritmo aprenda a tomar decisiones sesgadas, debes eliminar toda la información que pueda ayudar a discriminar entre grupos de interés (el género en este caso). Esto no significa eliminar sólo la información sobre el género, sino también toda la información que podría llevar a identificar el género, y esto podría ser un montón de cosas. Hay cosas obvias como el nombre y la foto, pero también otras indirectas, por ejemplo, la baja maternal en el currículum, pero también la educación (¿qué pasa si alguien fue a un colegio sólo para chicas?), o incluso el historial laboral (digamos que los reclutadores de tu empresa no son parciales, pero ¿qué pasa si todos los demás reclutadores anteriores eran parciales, por lo que el historial laboral refleja todas esas decisiones parciales? Como puedes ver, identificar esos problemas puede ser bastante complicado (otra razón por la que Amazon puede haber fracasado).

En cuanto a las preguntas 2. y 3., no hay respuestas fáciles y no me siento lo suficientemente competente como para intentar responderlas en detalle. Hay toneladas de literatura tanto sobre los prejuicios y los sesgos en la sociedad, como sobre los sesgos algorítmicos. Esto siempre es complicado y, por desgracia, no hay recetas sencillas para ello. Las empresas, como Google, contratan a expertos cuya función es identificar y prevenir este tipo de sesgo en los algoritmos.

Answer 5

Esto será, como mucho, una respuesta parcial (o ninguna respuesta).

Lo primero que hay que señalar es que estoy completamente de acuerdo con @dsaxton: todos los modelos "discriminan" (al menos en algunas definiciones de discriminación) ya que esa es su función. La cuestión es que los modelos funcionan con resúmenes y promedios y asignan cosas en base a promedios. Los individuos individuales son únicos y pueden estar completamente fuera de la predicción.

Ejemplo: consideremos un modelo simple que predice el mencionado clasificación de cinco estrellas basado en una variable - edad . Para todas las personas con la misma edad (digamos 30 años) producirá el mismo resultado. Sin embargo, esto es una generalización. No todas las personas de 30 años serán iguales. Y si el modelo produce diferentes rangos para diferentes edades, ya está discriminando a las personas por su edad. Digamos que da un rango de 3 para personas de 50 años y un rango de 4 para personas de 40 años. En realidad, habrá muchas personas de 50 años que sean mejores en lo que hacen que las de 40 años. Y se les discriminará.

---

1. ¿Debo utilizar el género (o cualquier dato correlacionado con él) como entrada e intentar corregir su efecto, o evitar utilizar estos datos?

Si quiere que el modelo arroje el mismo resultado para hombres y mujeres, por lo demás iguales, no debe incluir el género en el modelo. Cualquier dato correlacionado con el género debería incluirse. Al excluir dichas covariables puede estar cometiendo al menos 2 tipos de errores 1) asumir que todos los hombres y mujeres están distribuidos por igual en todas las covariables; 2) si algunas de esas covariables correlacionadas con el género son relevantes para la calificación y están correlacionadas con el género al mismo tiempo, podría reducir enormemente el rendimiento de su modelo al excluirlas.

2. ¿Cómo puedo comprobar la ausencia de discriminación por razón de sexo?

Ejecute el modelo exactamente con los mismos datos dos veces: una vez con "hombre" y otra con "mujer". Si se trata de un documento de texto, tal vez se puedan sustituir algunas palabras.

3. ¿Cómo corrijo mi modelo para los datos que son estadísticamente discriminantes pero que no quiero por razones éticas?

Depende de lo que quieras hacer. Una forma brutal de forzar la igualdad entre géneros es ejecutar el modelo con los solicitantes hombres y los solicitantes mujeres por separado. Y luego elegir el 50% de un grupo y el 50% de otro.

Lo más probable es que su predicción se resienta, ya que es poco probable que el mejor conjunto de candidatos incluya exactamente la mitad de hombres y la mitad de mujeres. Pero, ¿podría estar bien desde el punto de vista ético? - De nuevo, esto depende de la ética. Podría ver una declaración ética en la que este tipo de práctica sería ilegal, ya que también discriminaría en función del género, pero de otra manera.