RBI propone un marco para gestionar los riesgos de la IA
Al reconocer el uso cada vez mayor de modelos AI/ML por parte de entidades reguladas en todos los procesos comerciales y la toma de decisiones, el RBI dijo que las debilidades en la gobernanza, la supervisión, la gestión de riesgos y los controles pueden exponer a las organizaciones a riesgos financieros, operativos, de cumplimiento y de reputación.
Tenga en cuenta que esta ilustración creada con ChatGPT se publica únicamente con fines representativos.
Las entidades reguladoras deberán desarrollar un marco de gestión de riesgos modelo (MRMF) aprobado por la junta que cubra todos los modelos, incluidos los modelos de inteligencia artificial y aprendizaje automático (AI/ML), según el proyecto de directrices del Banco de la Reserva de la India sobre principios regulatorios para la gestión de riesgos de modelos, que se publicó el miércoles.
El marco propuesto se aplicará independientemente de si los modelos se desarrollan internamente, se obtienen de terceros o se crean utilizando una combinación de ambos.
Los comentarios sobre el borrador de las directrices se pueden enviar hasta el 24 de julio.
Según el marco propuesto, las juntas deberían revisar periódicamente el MRMF, aprobar el apetito de riesgo y la tolerancia de la entidad para los riesgos típicos y garantizar que estas evaluaciones estén informadas por análisis de escenarios y pruebas de estrés.
Las juntas directivas deberán aprobar políticas relacionadas con la gestión de riesgos típica y la clasificación de riesgos típica.
Puntos clave
- El RBI ha propuesto un marco de gestión de riesgos modelo aprobado por la junta que cubre toda la inteligencia artificial, el aprendizaje automático y los modelos tradicionales utilizados por las entidades reguladas.
- Las juntas directivas y los comités de riesgos supervisarán la validación de los modelos, la elaboración de perfiles de riesgo, las pruebas de tensión y la gobernanza antes de que se implementen los modelos de alto riesgo.
- El borrador de las directrices requiere que los bancos evalúen los riesgos que plantean los modelos de IA de terceros e impongan salvaguardias cuando la transparencia de los proveedores sea insuficiente.
- Los sistemas de IA de cara al cliente deben incluir salvaguardas de ciberseguridad, divulgar el uso de la IA, explicar las limitaciones y brindar asistencia humana cuando se solicite.
- El Banco de la Reserva de la India (RBI) ha invitado a las partes interesadas a expresar sus opiniones sobre el borrador de la guía hasta el 24 de julio antes de finalizar el marco modelo de gestión de riesgos.
Reglas de control del tablero
Al reconocer el uso cada vez mayor de modelos AI/ML por parte de entidades reguladas en todos los procesos comerciales y la toma de decisiones, el RBI dijo que las debilidades en la gobernanza, la supervisión, la gestión de riesgos y los controles pueden exponer a las organizaciones a riesgos financieros, operativos, de cumplimiento y de reputación.
El borrador de la guía establece amplias expectativas regulatorias para la gestión de riesgos relacionados con los modelos durante todo el ciclo de vida de estos sistemas.
El Banco Central propuso un mayor rol supervisor para el Comité de Gestión de Riesgos del Directorio.
El comité deberá revisar los informes de validación de los modelos clasificados como de alto riesgo antes de su publicación, supervisar el seguimiento de los modelos de terceros y basados en IA, revisar los informes de clasificación de riesgos de los modelos al menos una vez al año y examinar las infracciones materiales y otras preocupaciones importantes.
Modelos de IA de terceros
El RBI también ha tratado de abordar los riesgos derivados del uso de modelos de IA de terceros.
Cuando los proveedores no revelan suficiente información en relación con los modelos de IA/ML, las entidades reguladas deben identificar los riesgos que surgen de tales restricciones y establecer salvaguardas adecuadas, incluida la restricción del uso de dichos modelos cuando sea necesario, dijo.
Se requerirá que los reguladores evalúen los riesgos que surgen de las características de comportamiento de los modelos de IA y prueben su desempeño en escenarios atípicos y estresantes.
Según el borrador, las organizaciones deben evaluar los modelos en casos extremos, entradas anormales, intentos de manipulación y condiciones adversas para identificar vulnerabilidades que pueden no aparecer en condiciones operativas normales.
El borrador del marco también requiere que las entidades reguladas garanticen que el despliegue de modelos de IA no introduzca vulnerabilidades en sus entornos de producción y que implementen salvaguardas adecuadas para mitigar estos riesgos.
Salvaguardias de ciberseguridad
Para los sistemas de IA orientados al cliente, incluidas las aplicaciones de IA generativa, el RBI ha propuesto salvaguardas de ciberseguridad adicionales, como protección contra ataques de inyección flash y entradas hostiles, límites de sesión y persistencia del contexto, y mecanismos para detectar patrones de uso anómalos.
Las entidades reguladas también deberán informar a los usuarios cuando interactúen con un sistema basado en inteligencia artificial, revelar las limitaciones de dichos sistemas y brindar la opción de cambiar a asistencia humana cuando se solicite.
Mandato de supervisión humana
El banco central también propuso una supervisión humana obligatoria de la toma de decisiones basada en IA.
Las entidades reguladoras deberán establecer mecanismos de revisión que aborden los riesgos que surgen del sesgo de automatización, la excesiva dependencia de los resultados del modelo y la fatiga en la toma de decisiones.
Ver artículo: Ashish Narsil/Redev
