Los sesgos algorítmicos surgen cuando los sistemas que operan con datos y reglas automatizadas terminan replicando o intensificando formas de discriminación ya presentes. Al aplicarse estos mecanismos en decisiones públicas —incluidas la justicia penal, la salud, el empleo, los servicios sociales o la vigilancia— sus efectos pueden incidir en derechos, acceso a recursos y en la confianza dentro de la democracia. A continuación se expone qué implican, de qué manera se originan, casos documentados, consecuencias específicas y estrategias para reducirlos.
En qué consisten los sesgos algorítmicos
Un sesgo algorítmico aparece cuando un sistema o modelo automatizado genera de manera constante resultados diferentes entre diversos colectivos sociales (como sexo, raza, nivel socioeconómico, edad o zona de residencia). Dichas disparidades pueden originarse por múltiples factores:
- Datos históricos sesgados: registros administrativos que reflejan decisiones humanas previas discriminatorias.
- Variables proxy: uso de indicadores que, sin intención, actúan como sustitutos de características protegidas (por ejemplo, zona postal como proxy de raza).
- Falta de representatividad: muestras de entrenamiento que no incluyen suficientes casos de grupos minoritarios.
- Objetivos mal definidos: optimizar un indicador (costes, precisión global) sin medir equidad entre grupos.
- Retroalimentación y bucles: despliegue del sistema que altera el comportamiento y genera más datos sesgados, reforzando la desigualdad.
Muestras y situaciones registradas
- Sistemas de evaluación de riesgo penal: investigaciones periodísticas y académicas han mostrado que herramientas utilizadas para predecir riesgo de reincidencia tendían a clasificar a personas negras con mayor probabilidad como de alto riesgo y a personas blancas como de bajo riesgo, aun cuando la tasa real de reincidencia era similar, lo que implica más medidas restrictivas sobre ciertos grupos.
- Herramientas de selección de personal: empresas tecnológicas han descartado algoritmos de selección tras descubrir que penalizaban currículos con indicios femeninos, como participación en asociaciones de mujeres o graduación en universidades mayoritariamente femeninas.
- Reconocimiento facial y vigilancia: estudios independientes mostraron mayores tasas de error en el reconocimiento de rostros de mujeres y personas de piel más oscura. En varios países se registraron detenciones erróneas atribuidas a coincidencias incorrectas, lo que llevó a moratorias y prohibiciones locales sobre su uso por parte de fuerzas públicas.
- Algoritmos sanitarios: análisis han demostrado que algunos modelos que priorizan pacientes para programas de atención intensiva subestimaban las necesidades de pacientes de minorías cuando el algoritmo usaba gasto sanitario pasado como proxy de necesidad, desplazando recursos lejos de quienes más los requerían.
Impactos y riesgos específicos en decisiones públicas
- Discriminación institucionalizada: las decisiones automatizadas pueden afianzar tratos desiguales al otorgar acceso a empleo, salud o justicia.
- Pérdida de derechos y libertades: fallos en sistemas de vigilancia o en evaluaciones de riesgo penal pueden desembocar en detenciones improcedentes, estigmas o restricciones injustificadas.
- Desigualdad en asignación de recursos: los sesgos presentes en modelos que distribuyen servicios sociales o sanitarios pueden dejar sin apoyos clave a comunidades en situación vulnerable.
- Erosión de la confianza pública: la falta de transparencia y los fallos persistentes debilitan la credibilidad de instituciones que delegan sus decisiones en algoritmos.
- Retroalimentación negativa: una mayor vigilancia o número de sanciones en un barrio produce más registros de delitos, reforzando el modelo y prolongando la exposición excesiva de esa comunidad.
- Costes económicos y legales: litigios, indemnizaciones y revisiones normativas generan gastos públicos y retrasos en la prestación de servicios.
Maneras de identificar y evaluar los sesgos
La detección exige análisis desagregado por grupos relevantes y métricas de equidad además de medidas globales de rendimiento. Entre prácticas útiles:
- Desagregación de resultados: comparar tasas de falsos positivos, falsos negativos, sensibilidad y especificidad por grupo.
- Pruebas de impacto: simulaciones que muestran cómo cambia la distribución de beneficios y cargas antes y después del despliegue.
- Auditorías independientes: revisión externa del código, datos y decisiones para identificar proxies discriminatorios y errores metodológicos.
- Evaluaciones de robustez: tests con datos sintéticos y datos de poblaciones subrepresentadas.
Acciones destinadas a reducir los riesgos
- Transparencia y documentación: difundir una descripción clara de los datos, los propósitos, las limitaciones y las métricas de equidad, además de dejar constancia de las decisiones de diseño.
- Evaluación de impacto algorítmico: requerir análisis formales previos al despliegue en áreas delicadas que valoren riesgos y estrategias de mitigación.
- Participación y gobernanza: integrar en el proceso a las comunidades implicadas, a entidades de derechos humanos y a especialistas de distintos ámbitos para colaborar en el diseño y la supervisión.
- Datos representativos y limpieza: ampliar la diversidad y calidad de los datos y suprimir proxies que puedan perpetuar sesgos discriminatorios.
- Supervisión humana significativa: asegurar que exista intervención humana en decisiones finales de alto riesgo y preparar a los responsables para identificar fallos.
- Auditorías periódicas: aplicar revisiones externas de forma constante con el fin de encontrar deterioros del modelo y consecuencias imprevistas.
- Límites de uso: vetar o limitar la utilización de algoritmos en resoluciones irreversibles o de gran trascendencia cuando no haya garantías firmes de equidad.
Recomendaciones para políticas públicas
- Marco regulatorio claro: definir con precisión obligaciones de transparencia, establecer derechos de explicación y fijar normas de responsabilidad para las entidades públicas que recurran al uso de algoritmos.
- Protocolos de prueba antes del despliegue: realizar pilotos supervisados junto con evaluaciones que valoren impactos sociales y de derechos humanos.
- Creación de unidades de auditoría pública: conformar equipos técnicos independientes encargados de examinar modelos, datos y decisiones, y de divulgar resultados comprensibles para la población.
- Acceso a recursos y reparación: habilitar mecanismos que permitan a las personas afectadas pedir una revisión humana y obtener medidas de reparación cuando exista un perjuicio.
- Capacitación y alfabetización digital: preparar a funcionarios y ciudadanía para reconocer las limitaciones y riesgos asociados a la inteligencia artificial y al aprendizaje automático.
Los sesgos algorítmicos en decisiones públicas no son solo fallos técnicos: reflejan y pueden agravar desigualdades sociales. Su peligro radica en la escala y la apariencia de neutralidad que otorgan a decisiones que en realidad reproduzcan prejuicios históricos o errores de modelado. La respuesta efectiva requiere combinar controles técnicos (mejores datos, auditorías, métricas de equidad) con marcos éticos y legales que exijan transparencia, participación ciudadana y responsabilidad. Solo así la automatización puede servir al interés público sin socavar derechos ni aumentar la desigualdad, manteniendo a las personas y la rendición de cuentas en el centro de la toma de decisiones.