Los algoritmos de aprendizaje automático de caja negra presentan un grave riesgo de amplificar algunos de los prejuicios sociales basados en el género y la raza.
Considere un estudio reciente [1] realizado por los investigadores de la Universidad Carnegie Mellon sobre la imparcialidad de los anuncios en línea dirigidos en el ecosistema AdSense de Google. Se descubrió que es menos probable que a las mujeres se les muestren anuncios de trabajos bien remunerados en comparación con los hombres, lo que sugiere una discriminación basada en el género.
Otro estudio [2] encontró que el servicio de entrega el mismo día de Amazon no estaba sistemáticamente disponible en los barrios negros [se corrigió más tarde]. Sin embargo, otro estudio de Harvard [3] encontró que una búsqueda en Google de nombres que suenan negros es más probable que arroje resultados relacionados con los registros de arrestos en comparación con nombres distintivamente blancos.
- ¿Hay alguna forma metódica (algoritmo) de crear un autómata que acepte un idioma dado, dado el idioma como un conjunto ({w | condición (w)})?
- ¿Por qué los estudiantes de informática son tan elitistas?
- ¿Por qué las computadoras no funcionan con tres estados o más?
- ¿Cuál es el mejor enfoque para dominar los algoritmos de aprendizaje automático?
- ¿Por qué CSE en IIT Bombay es la mejor opción sobre CSE en IIT Kanpur?
La discriminación por parte de las máquinas puede ser un problema mucho más grave que la discriminación por parte de los humanos , principalmente debido a tres razones.
- Gran escala: una sola decisión algorítmica de un gigante del software como Google o Amazon puede impactar potencialmente a millones de personas en diferentes geografías. La discriminación algorítmica puede ocurrir a una escala que supera con creces la de la discriminación humana.
- Dificultad para la identificación: los prejuicios socialmente discriminatorios en los algoritmos de aprendizaje automático pueden ser extremadamente difíciles, si no imposibles, de detectar. Esto se debe a que algunos de los algoritmos de ML más populares son enfoques de caja negra sin una forma directa de rastrear por qué se produjo un resultado particular. El reciente aumento en la popularidad de los enfoques de aprendizaje profundo solo exacerba este problema.
- Falta de responsabilidad: en muchos casos, incluso si se identifica una discriminación, es difícil culpar a entidades específicas. Por ejemplo, aquí hay una cita de los investigadores de CMU que realizaron el primer estudio que mencioné anteriormente.
[Nuestra] opinión sobre la culpa varía en función de por qué las mujeres fueron discriminadas en nuestro experimento de género y trabajo. Si Google permitiera que el anunciante discriminara fácilmente, culparíamos a ambos. Si el anunciante eludió los esfuerzos de Google para evitar tal discriminación al enfocar correlatos de género, culparíamos solo al anunciante. Si Google decidiera apuntar solo a hombres con el anuncio por sí solo, culparíamos solo a Google.
El gran motivo de ganancias en el desarrollo de algoritmos de aprendizaje automático de alto rendimiento nos ha llevado a sumergirnos en problemas que no estábamos preparados para manejar, y mucho menos anticipar. Es hora de que hagamos una pausa en las métricas de rendimiento simples y consideremos lo que significa que una máquina sea ética y cómo se puede lograr.
Notas al pie
[1] Experimentos automatizados en la configuración de privacidad de anuncios: procedimientos sobre tecnologías de mejora de la privacidad
[2] Amazon no considera la raza de sus clientes. ¿Deberia?
[3] Discriminación en la entrega de anuncios en línea
