Los sesgos algorítmicos ocurren cuando sistemas basados en datos y reglas automáticas reproducen o amplifican discriminaciones existentes. Cuando estos sistemas se emplean en decisiones públicas —como justicia penal, salud, empleo, servicios sociales o vigilancia— las consecuencias pueden afectar derechos, recursos y confianza democrática. A continuación se analiza qué son, cómo aparecen, ejemplos documentados, impactos concretos y medidas de mitigación.
En qué consisten los sesgos algorítmicos
Un sesgo algorítmico aparece cuando un sistema o modelo automatizado genera de manera constante resultados diferentes entre diversos colectivos sociales (como sexo, raza, nivel socioeconómico, edad o zona de residencia). Dichas disparidades pueden originarse por múltiples factores:
- Datos históricos sesgados: registros administrativos que reflejan decisiones humanas previas discriminatorias.
- Variables proxy: uso de indicadores que, sin intención, actúan como sustitutos de características protegidas (por ejemplo, zona postal como proxy de raza).
- Falta de representatividad: muestras de entrenamiento que no incluyen suficientes casos de grupos minoritarios.
- Objetivos mal definidos: optimizar un indicador (costes, precisión global) sin medir equidad entre grupos.
- Retroalimentación y bucles: despliegue del sistema que altera el comportamiento y genera más datos sesgados, reforzando la desigualdad.
Muestras y situaciones registradas
- Sistemas de evaluación de riesgo penal: investigaciones periodísticas y académicas han mostrado que herramientas utilizadas para predecir riesgo de reincidencia tendían a clasificar a personas negras con mayor probabilidad como de alto riesgo y a personas blancas como de bajo riesgo, aun cuando la tasa real de reincidencia era similar, lo que implica más medidas restrictivas sobre ciertos grupos.
- Herramientas de selección de personal: empresas tecnológicas han descartado algoritmos de selección tras descubrir que penalizaban currículos con indicios femeninos, como participación en asociaciones de mujeres o graduación en universidades mayoritariamente femeninas.
- Reconocimiento facial y vigilancia: estudios independientes mostraron mayores tasas de error en el reconocimiento de rostros de mujeres y personas de piel más oscura. En varios países se registraron detenciones erróneas atribuidas a coincidencias incorrectas, lo que llevó a moratorias y prohibiciones locales sobre su uso por parte de fuerzas públicas.
- Algoritmos sanitarios: análisis han demostrado que algunos modelos que priorizan pacientes para programas de atención intensiva subestimaban las necesidades de pacientes de minorías cuando el algoritmo usaba gasto sanitario pasado como proxy de necesidad, desplazando recursos lejos de quienes más los requerían.
Impactos y riesgos específicos en decisiones públicas
- Discriminación institucionalizada: las decisiones automatizadas pueden afianzar tratos desiguales al otorgar acceso a empleo, salud o justicia.
- Pérdida de derechos y libertades: fallos en sistemas de vigilancia o en evaluaciones de riesgo penal pueden desembocar en detenciones improcedentes, estigmas o restricciones injustificadas.
- Desigualdad en asignación de recursos: los sesgos presentes en modelos que distribuyen servicios sociales o sanitarios pueden dejar sin apoyos clave a comunidades en situación vulnerable.
- Erosión de la confianza pública: la falta de transparencia y los fallos persistentes debilitan la credibilidad de instituciones que delegan sus decisiones en algoritmos.
- Retroalimentación negativa: una mayor vigilancia o número de sanciones en un barrio produce más registros de delitos, reforzando el modelo y prolongando la exposición excesiva de esa comunidad.
- Costes económicos y legales: litigios, indemnizaciones y revisiones normativas generan gastos públicos y retrasos en la prestación de servicios.
Cómo se detectan y miden los sesgos
La detección exige análisis desagregado por grupos relevantes y métricas de equidad además de medidas globales de rendimiento. Entre prácticas útiles:
- Desagregación de resultados: analizar y contrastar las tasas de falsos positivos, falsos negativos, así como la sensibilidad y la especificidad entre distintos grupos.
- Pruebas de impacto: generar simulaciones que permitan observar cómo se redistribuyen beneficios y posibles cargas antes y después de la implementación.
- Auditorías independientes: someter a evaluación externa el código, los datos y las decisiones para detectar posibles proxies discriminatorios y fallos metodológicos.
- Evaluaciones de robustez: aplicar pruebas mediante datos sintéticos y muestras provenientes de poblaciones con baja representación.
Acciones destinadas a reducir los riesgos
- Transparencia y documentación: publicar descripción de datos, objetivos, limitaciones y métricas de equidad; registrar decisiones de diseño.
- Evaluación de impacto algorítmico: exigir estudios formales antes del despliegue en ámbitos sensibles que midan riesgos y planes de mitigación.
- Participación y gobernanza: involucrar a comunidades afectadas, organismos de derechos humanos y expertos multidisciplinares en el diseño y supervisión.
- Datos representativos y limpieza: mejorar la calidad y diversidad de los datos, y eliminar proxies que reproduzcan discriminación.
- Supervisión humana significativa: mantener intervención humana en decisiones finales críticas y capacitar a los responsables para detectar errores.
- Auditorías periódicas: controles externos y continuos para detectar degradación del modelo y efectos no previstos.
- Límites de uso: prohibir o restringir algoritmos en decisiones irreversibles o de alto impacto sin garantías sólidas de equidad.
Sugerencias destinadas a las políticas públicas
- Marco regulatorio claro: establecer obligaciones de transparencia, derechos de explicación y normas de responsabilidad para entidades públicas que usen algoritmos.
- Protocolos de prueba antes del despliegue: pilotos controlados y evaluación de impactos sociales y de derechos humanos.
- Creación de unidades de auditoría pública: equipos técnicos independientes que revisen modelos, datos y decisiones y publiquen resultados accesibles.
- Acceso a recursos y reparación: mecanismos para que personas afectadas soliciten revisión humana y reparaciones en caso de daño.
- Capacitación y alfabetización digital: formar a funcionarios y ciudadanía para comprender limitaciones y riesgos de la inteligencia artificial y el aprendizaje automático.
Los sesgos algorítmicos presentes en decisiones públicas no se reducen a simples fallos técnicos, sino que también expresan y pueden intensificar desigualdades sociales existentes. Su riesgo proviene de la escala en la que operan y de la apariencia de neutralidad que da respaldo a decisiones que, en realidad, podrían reproducir prejuicios históricos o errores en los modelos. Para enfrentarlos de manera eficaz, se requiere una combinación de salvaguardas técnicas, como datos más sólidos, auditorías y métricas de equidad, junto con marcos éticos y legales que demanden transparencia, participación ciudadana y responsabilidad. Solo mediante este equilibrio la automatización puede actuar en favor del interés público sin vulnerar derechos ni ampliar brechas sociales, manteniendo a las personas y la rendición de cuentas como eje de la toma de decisiones.