El 19 de noviembre la Secretaría de Gobierno y Transformación Digital (SGTD) publicó el nuevo proyecto de Reglamento de la Ley de IA con cambios significativos respecto a la primera versión de mayo de este año, que comentamos en su oportunidad. Entre las novedades, destacan nuevas competencias para Concytec (supervisar el nivel de riesgo de software de IA), y para Indecopi (supervisar el nivel de riesgo de los sistemas de IA que afecten a los consumidores). También destaca la eliminación de principios como rendición de cuentas, supervisión humana y responsabilidad humana; y la definición de la figura del desarrollador, entre otros cambios.

En cuanto a las preocupaciones que se mantienen de la versión anterior, y que se manifestaron en las mesas de diálogo realizadas el 25 y 27 de noviembre por la SGTD, se encuentra la confusión sobre el alcance del reglamento hacia empresas privadas, la ausencia de elementos para distinguir entre el nivel de riesgo medio y bajo; y la limitación del reglamento a la luz de una ley tan escueta.

A continuación abordaremos los desafíos principales que persisten en esta segunda versión del reglamento, que esperemos se puedan superar con la retroalimentación de la segunda consulta pública. Especialmente teniendo en cuenta que es la intención de la SGTD que se apruebe este reglamento antes de marzo de 2025.

Tercera mesa de diálogo, con la participación de Lucía León, Rubiela Gaspar y Edgar Huaranga desde Hiperderecho.

Alcance a las empresas privadas

Del objetivo de este proyecto de reglamento, así como de las normas referidas a las obligaciones específicas que deben adoptar las empresas ante sistemas de IA que califiquen como riesgo alto, y del rol de Indecopi (de supervisar el nivel de riesgo en el uso  de sistemas de IA orientados a los consumidores); queda claro que el ámbito de aplicación incluye a las empresas privadas. Aplicación que deberá realizarse de forma progresiva y de acuerdo al tipo y tamaño de empresa.

No obstante, y pese a parecer claro el alcance de la norma, en el artículo 2 del Proyecto se indican textualmente las instituciones privadas o públicas dentro del ámbito de aplicación, y no aparecen explícitamente las empresas en la lista. Y probablemente este no sería un problema mayor, si es que de la anterior versión se hubiera interpretado que por “sector privado”, se incluye también a las empresas. Sin embargo, la postura manifestada inicialmente en mayo, en una sesión pública, por la SGTD fue que las obligaciones establecidas no eran obligatorias para las empresas. Aunque posteriormente, en otros eventos se comunicó que sí sería vinculante el contenido del Reglamento para las empresas.

Como se concluyó en las mesas de diálogo, las diferentes versiones han creado confusión en los distintos sectores. Por lo que, para mayor claridad, sería ideal que se mencione explícitamente a “las empresas del sector privado”, en el artículo 2, inciso c. Esto sería coherente además con el artículo 6 del Decreto que crea el Sistema Nacional de Transformación Digital, que indica “Los principios, normas y procedimientos que rigen la materia de Transformación Digital son aplicables a las entidades establecidas en el artículo I del Título Preliminar del Texto Único Ordenado de la Ley Nº 27444, Ley del Procedimiento Administrativo General (…) y, a las organizaciones de la sociedad civil, ciudadanos, empresas y academia en lo que corresponda.”.

Principios eliminados

Un retroceso en el segundo proyecto de reglamento es la eliminación de principios clave para la gobernanza de IA y el uso responsable de las nuevas tecnologías. Se trata de cuatro principios. Primero, el principio de “inclusión y equidad”, que enfatizaba la participación de grupos en situación de vulnerabilidad en la discusión sobre uso y desarrollo de IA, así como el acceso y disponibilidad universal de sistemas de IA. Segundo, el principio de transparencia, que aparece ahora como una definición reducida a la capacidad de entender “los resultados que los modelos de  Inteligencia Artificial pueden predecir”. Además, en la anterior versión, el proyecto de reglamento incluía dentro del principio de transparencia a la transparencia algorítmica, lo que permitiría que la ciudadanía conozca, por ejemplo, las bases de datos utilizadas como alimentación para los sistemas de IA.

Tercero, otro principio eliminado es el de responsabilidad humana; es decir, que en última instancia, la responsabilidad en el diseño, desarrollo, implementación y uso de IA recae en la persona humana. Este principio supone además que los sujetos responsables de los sistemas de IA, en todo su ciclo de vida, actúen con la debida diligencia.

Cabe mencionar también que la definición de “ciclo de  vida” fue eliminada en la definición y en el contenido de la propuesta. En la cual ahora sólo se hace referencia a las etapas de promoción, desarrollo y uso. Tomando un camino opuesto a los estándares internacionales, como los postulados por la Unesco, o incluso en la Ley de IA de la Unión Europea, ambos documentos de referencia en el proceso de reglamentación.

Y, por último, fue también eliminado el principio de rendición de cuentas. Esto supone, al no incorporarse tampoco el principio de inclusión y equidad, así como el de transparencia, una barrera para la participación social y política de las múltiples partes interesadas, y para la ciudadanía en general. Lo cual es aún más grave si pensamos en los sistemas de IA que utilizará la administración pública en sus distintos servicios, incluyendo, por ejemplo, la administración de justicia.

Nuevas definiciones: el desarrollador y el usuario final

Algunas críticas planteadas respecto de la versión anterior fueron (i) que las obligaciones sólo recaían en la figura del implementador, (ii) que la definición del implementador era ambigua, pues no permitía diferenciarlo del usuario, y (iii) que se señalaban otros sujetos obligados como el desarrollador, importador y distribuidor en el contenido, pero no se definían, ni se les asignaban obligaciones.

En esta versión se cambia el verbo que definía la figura del implementador: toda persona que “utiliza”, a toda persona que “despliega” un sistema basado en IA. A fin de evitar confusiones con el usuario. No obstante, se elimina una disposición importante que excluye de la figura del implementador a quienes usen los sistemas de IA “exclusivamente para actividades personales”. Una disposición similar a la que aparece en las exclusiones del ámbito de aplicación de la Ley de Protección de Datos Personales.

Además, en esta versión se incluye al desarrollador y al usuario final en el glosario, aunque con la insuficiente descripción de que el usuario es aquel “diferente del implementador y desarrollador”, y aquella “persona natural o persona jurídica que utiliza una aplicación de IA”. No queda claro si el usuario final será cualquier ciudadano/a, que interactúe directamente con un servicio basado en IA, o reciba un producto basado en IA. O, teniendo en cuenta la función de Indecopi que recoge el proyecto, no es claro si el usuario final es igual a un consumidor.

Enfoque de derechos humanos ausente en la clasificación de riesgos

Además de la ausencia de evaluaciones de impacto en derechos humanos o estudios de impacto algorítmico, persiste en la nueva versión del proyecto de Reglamento la calificación de sistemas de riesgo alto a supuestos que contravienen derechos humanos y que, por tanto, deberían ser considerados inaceptables. Este es el caso de la predicción de conductas criminales con IA, que vulnera el principio de inocencia y el fin de resocialización de la pena. Ya el caso del algoritmo COMPAS nos advierte de los sesgos discriminatorios y de las consecuencias perjudiciales que pueden tener este tipo de sistemas de IA para la predicción de delitos. De igual forma, es considerado de riesgo alto el uso de IA en la “Identificación biométrica y categorización de personas naturales.”. No obstante, se debería establecer un límite en este supuesto tan amplio, pues el tratamiento de datos biométricos en tiempo real y en espacios públicos debería ser considerado de riesgo inaceptable.

Por otro lado, en la lista de riesgos altos se debería considerar un numerus apertus (lista abierta), para aquellos sistemas que afecten derechos humanos, reconocidos en la Constitución y en tratados de derechos humanos. Ello teniendo en cuenta la rápida evolución de la IA, y la dificultad de hacer ediciones regulatorias contínuas en este apartado. Asimismo, vale la pena considerar en la lista de riesgo alto, aquellos sistemas de IA empleados para actividades militares en las que se utilicen armas autónomas letales y no letales.

Cabe agregar en este punto, que en la clasificación de los tipos de riesgo, no existen criterios para diferenciar el riesgo medio del riesgo bajo, ni definiciones o listas sobre qué sistemas de IA calificarían como tales. Tampoco se precisa qué obligaciones se derivan de sistemas calificados de riesgo medio.

Reflexión

Una constante en el Proyecto es la falta de orden y correlación entre el tipo de riesgo, las obligaciones derivadas del tipo de riesgo, los responsables dentro de las instituciones de supervisar o reportar los riesgos, y las entidades encargadas de fiscalizar el cumplimiento, o — eventualmente— sancionar. De igual forma, preocupa que no se hayan pronunciado las autoridades de las entidades citadas en la norma, que serán actores claves en la ejecución, como es el caso de Indecopi.

Esperamos que tras la segunda consulta pública finalizada el pasado 6 de diciembre, y tras las mesas de diálogo, la Secretaría de Gobierno y Transformación Digital pueda publicar los comentarios recibidos o el resumen de las conversaciones, en un ejercicio de transparencia y para continuar promoviendo la participación democrática. Esto permitirá forjar una verdadera gobernanza de la IA, y permitirá que el Perú destaque no sólo por ser uno de los primeros Estados en regular la IA, sino por tener una regulación rigurosa, coherente, clara y producto de la participación pública.