Tras más de dos años desde la publicación de la Ley de IA el 5 de julio de 2023, el 9 de septiembre se publicó su Reglamento. Esto luego de un primer borrador en mayo de 2024, que tuvo una sesión virtual abierta de discusión y un plazo de recepción de comentarios; seguido de un segundo borrador, en noviembre del mismo año, que contó a su vez con un plazo de recepción de comentarios y dos sesiones cerradas de discusión.

En ese transcurso, las principales preocupaciones de la sociedad civil giraron en torno a la responsabilidad de las empresas, la rendición de cuentas y la protección efectiva de derechos ante los riesgos de la IA. A continuación, se hará un análisis a partir de un primer acercamiento a la norma, identificando sus avances y aspectos por reforzar. Esta será una experiencia regulatoria prometedora para la región latinoamericana, siempre que su puesta en práctica consolide mecanismos efectivos de control, transparencia y corrección oportuna.

Obligaciones claras para las empresas

Durante las discusiones entre las múltiples partes interesadas del 2024, la extensión de obligaciones a las empresas del sector privado fue motivo de diferentes opiniones. Sin embargo, como lo advertimos anteriormente, era necesaria esta inclusión, a fin de no crear efectos diferenciados entre actores públicos y privados frente a la obligación general de respetar y garantizar derechos humanos, y frente a obligaciones específicas como el derecho a no ser objeto de decisiones automatizadas. Asimismo, era importante dado el mayor despliegue de sistemas de IA en el sector privado, y en congruencia con el impulso innovador desde actores privados que pretende la norma.

En ese sentido, el Reglamento establece como principales obligaciones para  los desarrolladores e implementadores de las empresas privadas:

• Abstenerse de diseñar, entrenar o desplegar sistemas de IA destinados a usos prohibidos, como la vigilancia masiva, el perfilamiento a partir de datos sensibles, identificación biométrica en tiempo real para la categorización de personas en espacios públicos (salvo excepciones, como autenticación de identidad digital o investigaciones de ciertos delitos graves), predicción de comportamiento delictivo, entre otros.
• Informar y explicar al usuario sobre el sistema de IA de riesgo alto, para cumplir con la transparencia algorítmica, respetando a la par los secretos comerciales o industriales del desarrollador. Para ello, se recomienda el etiquetado,  a fin de advertir al usuario, cuando un contenido, producto o servicio está operado mediante IA.
• Implementar mecanismos de supervisión humana en sistemas de IA de riesgo alto. En los sistemas de riesgo aceptable, es facultativo, y recomendable como medida de precaución. Esta supervisión debe realizarla personal capacitado en la materia, que tenga la facultad de detener, corregir o invalidar las decisiones del sistema de IA.
• Implementar un registro de trazabilidad de sistemas de IA de riesgo alto, debe ser actualizado, accesible, y documentar aspectos centrales del sistema, con un enfoque preventivo.
• Establecer políticas internas de educación y concientización de sus colaboradores en materia de IA. Esto puede incluir: entrenamientos periódicos, guías de buenas prácticas a desarrolladores y personal de ingeniería, capacitación sobre clasificaciones de riesgos, etc.
• Responder frente a eventuales denuncias sobre sus sistemas de IA, que se reciban mediante el canal de alertas y denuncias ciudadanas.

Estas obligaciones se implementarán de forma gradual. Dado que muchas empresas requerirán adaptaciones, se han fijado plazos diferenciados en función a sectores económicos. Los primeros en adaptarse serán los sectores de salud, educación, justicia, seguridad, economía y finanzas, que deberán implementar las obligaciones hasta septiembre de 2026. Estaremos ansiosos por ver los cambios en estos sectores, especialmente en el sector justicia, que viene implementando desde el 2021 seis sistemas de IA en Lima.

Rutas de denuncia frente a malos usos de sistemas de IA

El Reglamento menciona dos tipos de rutas de denuncia. El primero, la ruta directa, es a través de las autoridades competentes: INDECOPI, la Autoridad Nacional de Protección de Datos Personales (vía administrativa sancionadora), y la Policía Nacional del Perú (vía penal). Cabe recordar que en abril de este año se amplió el alcance de la sanción penal por malos usos de sistemas de IA.

El segundo, la novedad, es el mecanismo de alertas y denuncias por parte de la ciudadanía, que sirve tanto para alertar de usos indebidos de sistemas de IA, como denunciar incumplimientos de obligaciones de desarrolladores o implementadores. Se trata de un canal digital, que se cataloga como un servicio digital para el monitoreo, análisis y difusión de información y actividades sobre IA, incluyendo sus riesgos y oportunidades, entre otros.

Mediante este canal digital sobre IA, disponible en la página web https://www.gob.pe/iaperu (todavía no habilitado), se ingresa la alerta. Luego, la SGTD la registra y analiza si existe una posible afectación a derechos fundamentales (determinará esto en base a un protocolo, aún pendiente de desarrollo). De existir afectación, deriva el caso a las autoridades competentes para la fiscalización y sanción. Es decir, se trata de una ruta indirecta, que termina en el contacto con las citadas autoridades.

Parece ser que lo que pretende la Secretaría con estas disposiciones (de obligaciones y reiteración de rutas o la creación del canal digital) es no abdicar en las funciones de supervisión y control sobre el Reglamento. Porque claro, no necesitamos un reglamento que sólo promueve el buen uso de la IA. No obstante, no está demás recordar que la Secretaría no tiene poderes de fiscalización ni sanción. Es por ello que deriva las principales faltas hacia otros órganos que sí cuentan con la competencia. En ese sentido, el peso de este hito normativo recae ahora en su efectividad, y queda preguntarse ¿qué pasaría si se incumplen disposiciones reglamentarias que no estén cubiertas por la sanción administrativa sancionatoria (sobre consumidor o protección de datos personales), o por la sanción penal?

Por otro lado, respecto al canal digital, podemos encontrar medidas similares en otros organismos estatales, como la plataforma Alerta contra el Racismo del Ministerio de Cultura, o la plataforma SíSeVe, contra la violencia escolar, del Ministerio de Educación. Se trata de plataformas que aportan un extra al rutinario proceso de denuncia con (i) formularios de registro del hecho que sirvan para transparencia y rendición de cuentas o para ejecutar políticas públicas, (ii) información disponible para una mejor comprensión de la persona afectada sobre las rutas de denuncia, y (iii) asistencia legal o psicológica, si se requiere. En el caso del canal digital sobre IA, al menos de lo dispuesto en el reglamento, se evidencia un compromiso con los primeros dos beneficios.

Este tipo de iniciativas, sin embargo, no está exenta de críticas. Existe una preocupación fundamentada sobre su efectividad. Entre ellas, destacan problemas de difusión (sólo una minoría conoce la plataforma), de uso (implican llenar formularios engorrosos y se pierde la oportunidad de contar con data real), transparencia (nunca se publica el número de alertas, o este no coincide con otras cifras oficiales a través de las rutas de denuncia directas), o continuidad (como sucedió con la plataforma “No al Acoso Virtual”, que fue desactivada este año sin mayor rendición de cuentas del MIMP, que dejó de pagar por el dominio). Por ello, la Secretaría para cumplir con su objetivo de atención a personas afectadas por malos usos de IA deberá sobrepasar estos obstáculos.

Garantías ausentes: medidas voluntarias, excepciones por seguridad nacional y débil gobernanza

Si bien existen múltiples mejoras en el nuevo reglamento, en comparación con el último borrador, como el paso de sistemas de identificación biométrica o sistemas de predicción de delitos del riesgo alto al riesgo prohibido; o mayor claridad respecto a los sujetos obligados (implementador, desarrollar), así como respecto a las obligaciones de los privados, existen tres cuestiones en el Reglamento que llaman la atención:

• La evaluación de impacto en derechos fundamentales es sólo obligatoria para el sector público, para sistemas de IA de riesgo alto. Para los privados, la Secretaría sólo impulsa reconocimientos, a fin de promover la adopción voluntaria de este mecanismo preventivo. Pese al carácter voluntario, esto podría ser en la práctica una condición necesaria para identificar potenciales vulneraciones a derechos fundamentales, y, con ello, identificar un sistema de riesgo prohibido y evitar así su desarrollo o implementación (obligación). De acuerdo a la norma, un sistema de IA prohibido es todo aquel que “se use para impactar de manera irreversible, significativa y negativa en los derechos fundamentales (…)”. Entonces, ¿no es necesario que los desarrolladores e implementadores realicen una evaluación de impacto para determinar ese impacto? Esperemos que la Secretaría no tarde en elaborar la guía de referencia para aplicar la evaluación de impacto, y que esta sea lo suficientemente clara para facilitar su adopción por actores privados.
• La excepción en el ámbito de aplicación de la norma a sistemas de IA para la defensa y seguridad nacional. En la norma se señala que si bien no se aplica el reglamento al sector defensa y seguridad nacional (competencia del Ministerio de Defensa), esto no es una carta libre para la vulneración de derechos fundamentales, o de otras garantías básicas como la rendición de cuentas, supervisión humana y proporcionalidad. No obstante, la experiencia nos recuerda que la fiscalización ciudadana sobre el trabajo de este sector es frecuentemente obstaculizada por una coraza legal de opacidad. Por ejemplo, a través de las denegatorias de solicitudes de acceso a la información pública, basadas en la excepción de información secreta. ¿Cómo nos aseguraremos entonces que esta excepción no se convierta en un peligro para los derechos? ¿Y quién será el responsable de esta fiscalización y eventual sanción?
• La gobernanza en IA se centra en la participación del sector público. En el capítulo dedicado a este tema, se señala prioritariamente a actores estatales, y de forma residual a organizaciones del sector privado y sociedad civil. Además, no se menciona a la comunidad técnica. Y, el único mecanismo institucionalizado que se cita (único creado por el Estado que existe en esta materia) es el Comité de Alto Nivel por un Perú digital, innovador y competitivo. El cual está integrado por 15 actores, de los cuales sólo 1 es un representante de la sociedad civil. Se trata de un órgano creado en el 2021, que sólo ha tenido siete sesiones, siendo la última la preparación de un balance de la Agenda Digital del Bicentenario (en el mismo 2021). Es decir,  es un Comité evidentemente inactivo, sin integrantes diversos, que debe ser nuevamente impulsado por la Secretaría. A fin de lograr una conformación más balanceada y paritaria, acorde a los diferentes sectores que se pretende representar.

Pasos siguientes: implementación y futuros diálogos

Esta norma marca un hito para la regulación peruana de transformación digital, así como en la región latinoamericana, y evidencia un compromiso con la tutela de los derechos fundamentales frente a los riesgos de la IA —alucinaciones, sesgos étnicos, lingüísticos y de género, afectaciones a la propiedad intelectual y decisiones automatizadas de alto impacto—. Queda ahora seguir de cerca la emisión de las normas complementarias del Reglamento, la implementación del canal digital de alertas sobre IA,  y la aún pendiente Estrategia Nacional de Inteligencia Artificial, anunciada por la Secretaría de Gobierno y Transformación Digital como el siguiente instrumento a elaborar.

Reconocemos el proceso de diálogo que dio origen al Reglamento y alentamos que, en la próxima elaboración de la Estrategia de IA, se transparenten los comentarios recibidos mediante un informe breve (número de aportes y participación por sector), a fin de amplificar la voz de sectores hoy subrepresentados. Resulta indispensable, además, incorporar a más agrupaciones de la sociedad civil, que no son otra cosa que personas ciudadanas organizadas. A fin de asegurar así una transformación digital verdaderamente inclusiva, que no deje a nadie detrás.