Sesgo, equidad y responsabilidad en el uso de modelos
Dónde es peligroso
Cualquier uso que afecte las oportunidades de las personas: contratación, crédito, precios, prioridad del servicio, moderación. Allí el error no es una incomodidad sino un daño real, y a veces también una exposición legal.
Qué hacer en la práctica
Mide el rendimiento por segmentos, no solo un promedio general, y comprueba si un grupo determinado recibe sistemáticamente peores resultados.
Mantén a una persona en la decisión final, y dale la información para decidir de otra manera y no solo para aprobar.
Documenta: qué decide el sistema, sobre qué base, y cómo recurrir. La explicabilidad es un requisito práctico, no filosofía.
Transparencia hacia los usuarios
Las personas necesitan saber que están interactuando con un sistema automatizado, y qué pasa con su información. En los dominios regulados conviene aclarar los requisitos específicos con quien esté cualificado.
En profundidad
Construye un conjunto de pruebas de equidad dedicado con casos paralelos que solo difieren en un detalle que no debería importar, y verifica que el resultado es idéntico. Ejecútalo como regresión en cada cambio de modelo o de indicación: un cambio de versión puede reabrir una brecha que estaba cerrada.