Sesgo algorítmico y discriminación: implicaciones de la Ley 21.719 y cómo mitigarlo

Los algoritmos toman decisiones que afectan vidas: aprueban o rechazan crédito, seleccionan candidatos, definen precios de seguro, recomiendan tratamientos médicos y determinan quién recibe beneficios sociales. Cuando estos algoritmos operan con sesgo, pueden reproducir y amplificar discriminaciones históricas a escala industrial — y de forma invisible.

Para DPDs y equipos de TI, el tema no es solo ético: es jurídico. La Ley 21.719 protege al titular frente a decisiones automatizadas que lo afecten significativamente, prohíbe el uso discriminatorio de datos y exige transparencia sobre los criterios utilizados. Este artículo explica qué es el sesgo algorítmico, cuáles son las implicaciones legales en Chile y cómo las organizaciones pueden actuar para mitigar el problema.

Qué es el sesgo algorítmico

El sesgo algorítmico es un error sistemático introducido en un algoritmo o modelo de aprendizaje automático que produce resultados injustos, imprecisos o discriminatorios para determinados grupos poblacionales — generalmente grupos ya vulnerables o históricamente marginalizados.

El sesgo raramente es intencional. En la mayoría de los casos, surge como subproducto de elecciones técnicas aparentemente neutras: la selección de los datos de entrenamiento, las variables incluidas en el modelo, la métrica de optimización elegida o la forma en que se evalúa el éxito del modelo.

Principales tipos de sesgo

Sesgo histórico: Los datos de entrenamiento reflejan discriminaciones del pasado. Si una empresa siempre contrató hombres para cargos de liderazgo, un algoritmo entrenado con esos datos tenderá a privilegiar a candidatos hombres. El modelo "aprende" la discriminación histórica como si fuera una característica relevante.

Sesgo de representación: Algunos grupos poblacionales están subrepresentados en los datos de entrenamiento. Sistemas de reconocimiento facial entrenados predominantemente con imágenes de personas blancas presentan tasas de error significativamente mayores para personas negras — especialmente mujeres negras. Investigaciones del MIT Media Lab documentaron esta disparidad en sistemas comerciales ampliamente utilizados.

Sesgo de medición: Las mismas variables miden cosas distintas para grupos diferentes. El código postal, por ejemplo, es una variable aparentemente neutra, pero se correlaciona fuertemente con etnia y condición socioeconómica en muchas ciudades chilenas. Incluirlo en un modelo de crédito puede introducir discriminación étnica indirecta.

Sesgo de agregación: Usar un único modelo para poblaciones heterogéneas ignora diferencias importantes. Un modelo de diagnóstico entrenado mayoritariamente con datos de hombres puede tener desempeño inferior para mujeres.

Sesgo de implantación: El entorno donde se usa el modelo difiere del que fue entrenado. Un modelo de análisis de riesgo entrenado con datos de grandes ciudades puede no funcionar adecuadamente en regiones con perfiles socioeconómicos distintos.

Cómo se manifiesta el sesgo en la práctica

Los impactos concretos del sesgo algorítmico están documentados en diversas áreas:

Crédito y financiamiento: Algoritmos de scoring de crédito que usan variables proxy (como profesión, dirección o patrón de consumo) pueden rechazar sistemáticamente a grupos vulnerables, incluso cuando presentan capacidad de pago equivalente a grupos aprobados.

Reclutamiento y selección: Herramientas automatizadas de screening de currículos pueden penalizar a candidatos cuyo historial incluye brechas laborales (más comunes en mujeres que interrumpieron su carrera para cuidar hijos) o que estudiaron en universidades menos reconocidas.

Seguros y salud: Modelos de fijación de precios que correlacionan salud con variables socioeconómicas pueden resultar en precios más elevados para poblaciones ya en desventaja.

Reconocimiento facial: Sistemas usados en seguridad o control de acceso con mayor tasa de error para grupos específicos generan consecuencias graves — desde negación de acceso hasta identificaciones incorrectas en investigaciones.

Asignación de beneficios: Algoritmos de selección para programas sociales pueden excluir justamente a los más necesitados si los criterios de elegibilidad no están bien calibrados.

Ley 21.719 y decisiones automatizadas: el Art. 8° bis

El artículo central de la Ley 21.719 para este tema es el Art. 8° bis, que establece un derecho más sólido que la mayoría de los marcos latinoamericanos:

"El titular tiene derecho a no ser objeto de una decisión basada únicamente en el tratamiento automatizado de sus datos personales, incluida la elaboración de perfiles, que produzca efectos jurídicos en él o le afecte significativamente de modo similar."

Este derecho abarca cualquier decisión tomada únicamente con base en tratamiento automatizado — sin intervención humana relevante. Incluye:

• Aprobación o rechazo de crédito
• Selección automatizada de candidatos
• Definición de precios personalizados
• Evaluación de riesgo en seguros
• Evaluación de elegibilidad para beneficios

Las tres garantías del Art. 8° bis

A diferencia de marcos que solo conceden al titular el derecho a solicitar una revisión, el Art. 8° bis de la Ley 21.719 establece tres garantías activas:

1. Derecho a la explicación: El responsable debe informar al titular, de forma clara y comprensible, sobre la lógica aplicada, la importancia del tratamiento y las consecuencias previstas de la decisión automatizada.

2. Derecho a la intervención humana: El titular puede solicitar que una persona natural revise la decisión y exprese su punto de vista sobre ella.

3. Derecho a la impugnación: El titular puede oponerse a la decisión automatizada ante el responsable y, si es necesario, ante la Agencia de Protección de Datos Personales (APDP).

Excepciones al Art. 8° bis

El derecho no es absoluto. La decisión automatizada es lícita cuando:

• Es necesaria para la ejecución de un contrato con el titular
• Está autorizada por ley con salvaguardas adecuadas
• Se basa en el consentimiento explícito del titular

Incluso en estos casos, el responsable debe implementar medidas para proteger los derechos del titular y mantener la posibilidad de intervención humana cuando el titular lo solicite.

Un marco más protector que otros referentes regionales

Para organizaciones familiarizadas con la LGPD brasileña, el Art. 8° bis de la Ley 21.719 ofrece una protección más amplia. Mientras el Art. 20 de la LGPD concede al titular el derecho a solicitar revisión humana — poniendo sobre él la carga de provocar esa revisión —, el Art. 8° bis chileno establece como punto de partida el derecho a no ser objeto de decisiones puramente automatizadas. El responsable del tratamiento debe justificar la decisión automatizada, no el titular impugnarla.

La protección contra discriminación en la Ley 21.719

La Ley 21.719 no consagra un artículo de "no discriminación" en forma separada, pero la protección emerge de forma combinada a través de dos pilares:

Pilar 1 — Art. 8° bis: Al prohibir decisiones automatizadas que afecten significativamente al titular sin las garantías de explicación, intervención humana e impugnación, el Art. 8° bis previene directamente las decisiones discriminatorias producidas por algoritmos — con independencia de si los datos sensibles fueron utilizados explícitamente.

Pilar 2 — Régimen de datos sensibles: El tratamiento de datos relativos a origen racial o étnico, salud, orientación sexual, religión u opinión política exige bases legales reforzadas. Usar datos sensibles en sistemas algorítmicos sin base legal adecuada constituye por sí solo una infracción grave.

Discriminación por proxy: Uno de los desafíos más complejos es la discriminación indirecta — cuando el algoritmo no utiliza directamente variables sensibles, pero emplea variables que funcionan como proxies de ellas. El uso del código postal como variable en modelos de crédito puede resultar en discriminación étnica indirecta en ciudades chilenas con fuerte segregación socioeconómica, incluso sin ninguna mención explícita a etnia en los datos.

Bajo la Ley 21.719, el resultado discriminatorio importa tanto como la intención. Si el tratamiento produce efectos discriminatorios significativos, viola el espíritu del Art. 8° bis y el régimen de datos sensibles — independientemente de si se utilizaron directamente datos sensibles.

Datos sensibles y algoritmos: protección reforzada

La Ley 21.719 clasifica como datos sensibles aquellos que revelan origen racial o étnico, opinión política, convicciones religiosas o filosóficas, afiliación sindical, datos genéticos, datos biométricos, datos de salud y datos relativos a la vida sexual u orientación sexual de una persona.

El tratamiento de datos sensibles requiere, como regla general, consentimiento explícito del titular — un estándar más exigente que el consentimiento ordinario. Las excepciones son tasadas y deben cumplirse rigurosamente.

Atención especial: Un algoritmo que procesa datos sensibles y genera resultados discriminatorios incurre en una doble infracción: viola el Art. 8° bis (decisión automatizada discriminatoria sin las garantías requeridas) y el régimen de datos sensibles (tratamiento sin base legal adecuada). Esta doble vulneración puede resultar en sanciones más severas de la APDP — hasta 20.000 UTM en infracciones gravísimas, con multas aún más altas para empresas no-pymes reincidentes — y en mayor dificultad para demostrar conformidad.

Responsabilidades del responsable del tratamiento

El responsable del tratamiento es el principal obligado por la conformidad de sus sistemas de decisión automatizada. Sus obligaciones incluyen:

Transparencia proactiva: Informar en la política de privacidad y en los canales de atención que se toman decisiones automatizadas, las categorías de datos utilizados y cómo el titular puede solicitar explicación, revisión humana o impugnar la decisión.

Capacidad de respuesta: Estructurar procesos humanos para revisar decisiones cuando el titular lo solicite. Esto requiere que el código y los modelos estén suficientemente documentados para que revisores humanos puedan comprender y cuestionar la lógica.

Diligencia debida en encargados: Cuando el sistema de decisión automatizada es proporcionado por un tercero (bureau de scoring, plataforma de reclutamiento, sistema de reconocimiento facial), el responsable sigue siendo responsable del tratamiento. El contrato con el encargado debe incluir garantías de no discriminación y soporte para el cumplimiento del Art. 8° bis.

Evaluación de Impacto en la Protección de Datos (EIPD): Para tratamientos con alto riesgo de discriminación — en particular sistemas de decisión automatizada a escala o que afectan datos sensibles — la EIPD es obligatoria bajo la Ley 21.719 (Art. 15 ter). La APDP puede solicitarla en cualquier momento tras iniciar operaciones.

Cómo mitigar el sesgo algorítmico: buenas prácticas

Antes del desarrollo

• Definir claramente la finalidad: ¿Cuál es el objetivo del modelo? ¿A qué grupos poblacionales afecta? ¿Hay riesgo de impacto desproporcionado en grupos protegidos?
• Auditar los datos de entrenamiento: ¿Los datos son representativos de la población que el modelo va a atender? ¿Hay subrepresentación de grupos? ¿Los datos históricos reflejan discriminaciones pasadas?
• Seleccionar variables con criterio: Eliminar o controlar variables que funcionen como proxies de características protegidas (etnia, género, origen, etc.)

Durante el desarrollo

• Métricas de fairness: Además de la exactitud general, medir el desempeño por separado para grupos protegidos. Métricas como equalized odds, demographic parity y calibration ayudan a identificar disparidades antes del lanzamiento.
• Documentación del modelo (Model Cards): Documentar hipótesis, limitaciones conocidas, datos de entrenamiento, desempeño por grupo y casos de uso previstos.
• Diversidad en los equipos: Equipos homogéneos tienden a tener puntos ciegos sobre impactos en grupos que no conocen. La diversidad de perspectivas en el desarrollo es un control de calidad.

Después del lanzamiento

• Monitoreo continuo: El sesgo puede surgir o intensificarse con el tiempo, a medida que cambia la distribución de los datos. Implementar pipelines de monitoreo que acompañen métricas de fairness en producción.
• Canal de impugnación: Crear un proceso claro y accesible para que los titulares soliciten explicación, revisión humana e impugnen decisiones — en cumplimiento del Art. 8° bis.
• Auditoría periódica: Revisiones regulares del modelo, incluyendo auditoría externa cuando el sistema tiene alto impacto.

ISO/IEC 42001:2023 y gobernanza de IA

Publicada en diciembre de 2023, la ISO/IEC 42001 es el primer estándar internacional para Sistemas de Gestión de Inteligencia Artificial (SGAI). Proporciona un marco para que las organizaciones demuestren que desarrollan y operan IA de forma responsable, incluyendo:

• Políticas de IA alineadas a la misión organizacional
• Evaluación y gestión de riesgos de IA (incluido sesgo y discriminación)
• Ciclo de vida del sistema de IA con controles en cada etapa
• Monitoreo post-lanzamiento
• Mejora continua

La ISO 42001 no reemplaza las obligaciones de la Ley 21.719, pero proporciona un marco gerencial que facilita demostrar conformidad — especialmente para organizaciones que deben comprobar gobernanza de IA ante clientes corporativos, reguladores o socios internacionales.

El rol de la APDP en la regulación de IA

La Agencia de Protección de Datos Personales (APDP), que inicia operaciones el 1 de diciembre de 2026 junto con la entrada en vigencia de la Ley 21.719, será la autoridad regulatoria central en materia de IA y decisiones automatizadas en Chile.

Entre sus facultades, la APDP podrá:

• Emitir instrucciones y directrices sobre el uso de IA en decisiones que afecten a los titulares
• Fiscalizar el cumplimiento del Art. 8° bis por parte de los responsables del tratamiento
• Solicitar EIPDs de sistemas de decisión automatizada de alto riesgo
• Imponer sanciones de hasta 20.000 UTM en infracciones gravísimas (y más en caso de reincidencia para empresas no-pymes)

Las organizaciones que operan sistemas de decisión automatizada deben prepararse antes de diciembre de 2026: revisar sus modelos de IA, documentar las bases legales utilizadas, implementar mecanismos de impugnación y elaborar las EIPDs correspondientes.

Chile también sigue de cerca la regulación internacional de IA: la Unión Europea aprobó el Reglamento de IA (AI Act) en 2024, que establece requisitos específicos para sistemas de "alto riesgo" — incluyendo sistemas de scoring crediticio, selección de candidatos y reconocimiento biométrico. Aunque no aplicable directamente en Chile, este marco influirá en los estándares de los proveedores globales que operan en el país y en las expectativas de socios comerciales internacionales.

Conclusión: conformidad y responsabilidad van de la mano

El sesgo algorítmico no es solo una cuestión técnica — es una cuestión de derechos fundamentales. A medida que los algoritmos toman decisiones que afectan el acceso a crédito, empleo, salud y servicios esenciales, las organizaciones que los desarrollan y operan asumen responsabilidad por sus efectos.

La Ley 21.719 proporciona el marco legal: el derecho a no ser objeto de decisiones automatizadas discriminatorias sin garantías (Art. 8° bis), la protección reforzada de datos sensibles y la EIPD como herramienta de evaluación previa de riesgos. Cumplir estas obligaciones no es solo evitar sanciones — es construir sistemas que traten a todos los titulares con igual respeto y dignidad.

Para organizaciones que quieren estar preparadas antes de que la APDP inicie operaciones en diciembre de 2026, el próximo paso es evaluar sus sistemas de IA, identificar riesgos de sesgo y documentar las medidas de mitigación en una EIPD.

Descarga la guía "Prepararse para la Ley 21.719: los primeros 50 pasos" y anticípate a los requisitos de la Agencia de Protección de Datos Personales.