Gobernanza de IA y protección de datos: framework práctico para organizaciones

La adopción de inteligencia artificial en las organizaciones creció mucho más rápido que los frameworks de gobernanza para gestionarla. El resultado suele ser el mismo: sistemas de IA implementados sin evaluación adecuada de riesgos, sin documentación, sin procesos de revisión y sin claridad sobre quién es responsable de qué.

La gobernanza de IA no es solo una preocupación de cumplimiento — es una necesidad operacional. Modelos que se degradan silenciosamente, sistemas que reproducen sesgos, decisiones automatizadas sin trazabilidad: estos problemas tienen costos operacionales, reputacionales y jurídicos reales.

Esta guía presenta un framework práctico para la gobernanza de IA con foco en protección de datos — integrado con las obligaciones de la Ley 21.719 y las mejores prácticas internacionales.

Por qué la gobernanza de IA es diferente de la gobernanza de TI

La gobernanza de TI tradicional — con controles de acceso, gestión de activos y gestión de cambios — no es suficiente para los sistemas de IA. Las razones son estructurales:

1. Comportamiento emergente: los sistemas de IA no se comportan exactamente como se programaron — aprenden patrones de los datos. Su comportamiento en producción puede ser diferente al comportamiento en desarrollo.

2. Drift del modelo: con el tiempo, la distribución de los datos de entrada cambia, y el modelo puede degradarse silenciosamente. Un modelo de detección de fraude excelente hace dos años puede tener un rendimiento significativamente inferior hoy sin que nadie lo note.

3. Opacidad: en modelos complejos, puede ser difícil explicar por qué se generó un output específico — lo que crea desafíos para la auditoría, el debugging y el cumplimiento con el derecho a no ser objeto de decisiones automatizadas sin revisión humana (principio previsto en la Ley 21.719).

4. Riesgo de sesgo: los modelos reproducen patrones de los datos de entrenamiento — incluidos patrones discriminatorios históricos — lo que crea riesgo de violación del principio de no discriminación.

5. Responsabilidad distribuida: desarrolladores, científicos de datos, equipos de negocio, operación y cumplimiento tienen responsabilidades que necesitan delimitarse claramente.

Los cinco pilares del framework de gobernanza de IA

Pilar 1: Inventario y Clasificación de Sistemas de IA

No se puede gobernar lo que no se conoce. El punto de partida es un inventario completo de los sistemas de IA en uso o en desarrollo en la organización.

Para cada sistema, documentar:

Nombre y descripción funcional
Tipo de IA (ML supervisado/no supervisado, deep learning, LLM, híbrido)
Finalidad de negocio
Datos utilizados (categorías, volumen, fuentes)
Titulares afectados
Si toma o apoya decisiones automatizadas que afectan a titulares
Criticidad para el negocio
Proveedor (interno o tercero)
Estado (en desarrollo, en producción, en descontinuación)

Clasificación por nivel de riesgo

Nivel	Características	Ejemplos	Controles exigidos
Alto riesgo	Decisiones automatizadas con impacto material sobre titulares; datos sensibles; gran escala	Score de crédito, triaje de candidatos por IA, diagnóstico médico por IA	EIPD obligatoria; revisión humana; explicabilidad; monitoreo de sesgos
Riesgo medio	Apoyo a decisiones no totalmente automatizadas; datos no sensibles; escala moderada	Recomendación de productos, priorización de atención	EIPD recomendada; documentación técnica; monitoreo de rendimiento
Bajo riesgo	Automatización de tareas internas; sin impacto directo sobre titulares	Clasificación interna de correos, sugerencia de respuestas para agentes	Documentación básica; revisión periódica

Pilar 2: Políticas y Principios de IA Responsable

La organización debe tener principios de IA responsable formalizados en una política que oriente cómo los sistemas de IA son desarrollados, evaluados y operados.

Principios recomendados (alineados con la Ley 21.719 y las mejores prácticas internacionales):

Transparencia: los titulares deben ser informados cuando la IA se usa en decisiones que los afectan, con derecho a información sobre la lógica involucrada.

Explicabilidad: los sistemas de IA deben ser capaces de proporcionar explicaciones sobre decisiones específicas, especialmente para casos de alto impacto.

Equidad: los sistemas de IA no deben perpetuar ni amplificar discriminaciones. La evaluación de sesgo es obligatoria antes de la implantación, con monitoreo continuo.

Responsabilidad (Accountability): siempre hay un humano responsable del comportamiento de un sistema de IA. La responsabilidad por el algoritmo no puede delegarse al algoritmo.

Supervisión humana: las decisiones de alto impacto deben tener mecanismos de revisión humana disponibles.

Minimización: los sistemas de IA deben usar el mínimo de datos personales necesario para la finalidad.

Seguridad: los sistemas de IA deben desarrollarse y operarse con controles de seguridad adecuados al nivel de riesgo.

Pilar 3: Proceso de Aprobación (AI Gate Review)

Todo sistema de IA, antes de pasar a producción, debe someterse a revisión y aprobación que verifique el cumplimiento con las políticas de la organización y con la Ley 21.719.

Gate 1 — Pre-desarrollo (fase de proyecto)

Definición clara de la finalidad y la base legal
Verificación de que los datos disponibles tienen base legal para ese uso
Identificación inicial de riesgos
Decisión: proceder / rediseñar / no hacer

Gate 2 — Pre-producción (antes de implantar)

EIPD elaborada y aprobada por el DPD
Evaluación de sesgo realizada y documentada
Explicabilidad probada y documentada
Proceso de revisión humana (si aplica) definido y operacional
Aviso de privacidad actualizado
Contrato de tratamiento con el proveedor formalizado (si aplica)
Decisión: aprobar / condicionar / rechazar

Gate 3 — Revisión periódica (en producción)

¿El modelo está rindiendo como se esperaba? (métricas técnicas)
¿El sesgo aumentó desde la implantación?
¿Se identificó algún riesgo nuevo?
¿La EIPD necesita actualizarse?
Frecuencia: semestral para alto riesgo; anual para riesgo medio

Pilar 4: Roles y Responsabilidades

La gobernanza de IA requiere que roles específicos estén claramente definidos:

Dueño del modelo (Model Owner): generalmente un líder de negocio. Responsable de la finalidad, el rendimiento de negocio y las decisiones estratégicas sobre el sistema.

Desarrollador/Científico de datos: responsable de la arquitectura técnica, el entrenamiento, la evaluación de rendimiento técnico y la documentación técnica.

DPD: responsable de revisar y aprobar la EIPD, verificar bases legales, garantizar que los derechos de los titulares sean atendibles y monitorear la evolución regulatoria sobre IA.

Seguridad de la Información: responsable de los controles técnicos de seguridad del sistema y de los datos.

Equipo jurídico/compliance: responsable de evaluar riesgos legales, incluyendo cumplimiento con la Ley 21.719 y regulación sectorial.

Comité de IA (en organizaciones mayores): instancia multidisciplinaria que aprueba sistemas de alto riesgo y define políticas.

Pilar 5: Monitoreo Continuo

Los sistemas de IA en producción necesitan monitoreo activo:

Monitoreo técnico:

Métricas de rendimiento comparadas con el baseline establecido
Drift detection: ¿la distribución de los datos de entrada está cambiando?
Latencia y disponibilidad del sistema

Monitoreo de equidad:

Métricas de sesgo por grupos protegidos
Alertas cuando las métricas de equidad se degradan más allá del umbral definido

Monitoreo regulatorio:

Volumen y resultado de las solicitudes de revisión de decisiones automatizadas
Reclamaciones de titulares relacionadas con decisiones del sistema
Cambios regulatorios que impacten el sistema (APDP, nueva regulación sectorial)

Integración con el programa de cumplimiento Ley 21.719 existente

Para las organizaciones que ya tienen un programa de cumplimiento estructurado, la gobernanza de IA no debe ser un silo separado:

Inventario de actividades de tratamiento (RAT): los sistemas de IA deben registrarse como actividades de tratamiento, con campos adicionales para información específica de IA.

Gestión de terceros/proveedores: los proveedores de modelos de IA de terceros deben gestionarse como encargados, con contratos de tratamiento, evaluaciones de due diligence y monitoreo.

Gestión de incidentes: los incidentes que involucren sistemas de IA (outputs incorrectos con impacto en titulares, filtración de datos de entrenamiento, descubrimiento de sesgo severo) deben entrar al flujo de gestión de incidentes existente.

Aviso de privacidad: debe informar sobre el uso de sistemas de IA en decisiones que afectan a los titulares, conforme al principio de transparencia de la Ley 21.719.

Referencias de frameworks internacionales

Las organizaciones que buscan benchmarks externos pueden orientarse por:

ISO/IEC 42001:2023 — Sistema de Gestión de Inteligencia Artificial. Norma publicada en diciembre de 2023 que especifica requisitos y proporciona orientaciones para establecer, implementar, mantener y mejorar continuamente un sistema de gestión de IA en las organizaciones.

NIST AI Risk Management Framework (AI RMF 1.0) — Publicado por el National Institute of Standards and Technology de EE.UU. en enero de 2023. Organizado en cuatro funciones: Gobernar (Govern), Mapear (Map), Medir (Measure) y Gestionar (Manage). Referencia ampliamente adoptada internacionalmente.

EU AI Act (Reglamento UE 2024/1689) — Reglamento europeo de inteligencia artificial en vigor desde el 1 de agosto de 2024. Clasifica los sistemas de IA por nivel de riesgo (inaceptable, alto, limitado, mínimo) y establece obligaciones proporcionales. Útil como referencia para organizaciones chilenas con operaciones en Europa o que desarrollan tecnología para el mercado europeo — y como anticipación de la dirección regulatoria global en IA.

Chile y la regulación de IA: Chile aún no tiene una ley específica de inteligencia artificial. El gobierno ha publicado una Política Nacional de Inteligencia Artificial (2021, actualizada 2024) con principios rectores, pero sin carácter normativo vinculante. La regulación sectorial (financiera, de salud, de educación) puede aplicarse a sistemas de IA en esos contextos. Las organizaciones que implementan IA en Chile deben monitorear la evolución regulatoria — la tendencia global apunta hacia marcos normativos más exigentes.

Conclusión

La gobernanza de IA no es opcional — es un imperativo regulatorio y operacional. La Ley 21.719 ya impone obligaciones sobre sistemas de IA (transparencia, no discriminación, derecho a no ser objeto de decisiones puramente automatizadas); y la tendencia regulatoria global, representada por el EU AI Act, apunta hacia más exigencias, no menos.

Pero más allá del cumplimiento, la gobernanza de IA es simplemente buena gestión: sistemas evaluados, monitoreados y revisados rinden mejor, causan menos daño y generan más confianza.

El framework presentado aquí — inventario, políticas, aprobación, roles y monitoreo — ofrece una estructura para comenzar. El nivel de madurez adecuado depende del volumen y la criticidad de los sistemas de IA en uso. Pero ninguna organización que usa IA para decisiones que afectan a personas puede darse el lujo de no tener ninguna gobernanza.

Confidata ofrece funcionalidades específicas para gobernanza de IA: registro de sistemas de IA en el inventario de actividades, EIPD con campos específicos para modelos de machine learning e integración con el sistema de gestión de terceros para contratos de tratamiento con proveedores de IA.