El 2 de mayo, la Secretaría de Transformación y Gobierno Digital (SGTD) publicó la propuesta de Reglamento (en adelante, la propuesta de Reglamento) de la Ley N°31814, Ley que promueve el uso de la Inteligencia Artificial en favor del desarrollo económico y social del país (en adelante, la Ley de Promoción de IA). Asimismo, dispuso de un plazo para recibir comentarios o sugerencias, el cual finalizó este sábado 1 de junio,fecha en la que la SGTD también realizó una sesión pública virtual de participación ciudadana a fin de exponer un resumen del Proyecto y recopilar sugerencias.

Desde Hiperderecho, junto con la organización AccessNow, hemos enviado en coautoría un documento en el que abordamos alrededor de 20 comentarios sobre la propuesta de Reglamento, especialmente sobre el Capítulo I (Disposiciones Generales) y el Capítulo III (Gestión de Riesgos en los Sistemas basados en Inteligencia Artificial). A continuación exponemos tres de los riesgos más alarmantes que hemos encontrado.

1. La exclusión del sector privado

Durante la sesión pública del pasado sábado, la noticia que captó la atención fue la decisión de la SGTD de excluir al sector privado de la aplicación del Reglamento. Esta decisión se sostuvo bajo la interpretación del Decreto Supremo N°157-2021-PCM, que reglamenta el Sistema Nacional de Transformación Digital, en cuyo artículo 5.3 se señala “Las normas y procedimientos emitidos en el marco del Sistema Nacional de Transformación Digital son de carácter obligatorio para las entidades del sector público; y en el caso de las organizaciones del sector privado son de carácter orientador y referencial, salvo que una norma con rango de ley establezca su obligatoriedad”.

Sobre la base del citado Decreto, se interpretó que no se podían extraer obligaciones expresas para actores privados a partir de la Ley de Promoción de IA, por cuanto esta no mencionaba explícitamente estas obligaciones. En realidad, ciertamente, esta norma es escueta y ha sido criticada por los vacíos normativos que genera. Es una norma que empieza y  termina con un título preliminar, el cual cuenta con sólo dos capítulos. No obstante, el artículo 1 de la Ley es tajante al señalar que su objeto es promover el uso de la inteligencia artificial “privilegiando a la persona y el respeto de los derechos humanos”. ¿No es acaso la obligación de respetar los derechos humanos igual para el sector público y privado? Seguidamente, la Ley señala también que el uso de la IA debe realizarse “en un entorno seguro que garantice su uso ético, sostenible, transparente, replicable y responsable”. ¿Sólo para el Estado son obligatorias estas garantías? ¿Acaso es el Estado o el sector público los únicos que desarrollarían tecnología basada en Inteligencia Artificial (si acaso lo hacen)?

Sumado a ello, la Propuesta de Reglamento menciona que “las disposiciones de la Ley y del presente Reglamento son aplicables a […] el sector privado” y cita para ello al artículo 6 del Decreto de Urgencia que crea el Sistema Nacional de Transformación Digital, que dice: “Los principios, normas y procedimientos que rigen la materia de Transformación Digital son aplicables a las entidades establecidas en […]  la Ley Nº 27444, Ley del Procedimiento Administrativo General, […], y, a las organizaciones de la sociedad civil, ciudadanos, empresas y academia en lo que corresponda.”

En todo caso, hace mal la propuesta de Reglamento en hacer referencia al Sistema Nacional de Transformación Digital para enmarcar su ámbito de aplicación. El mencionado Decreto de Urgencia crea y desarrolla sistemas administrativos (en específico, el de Transformación Digital). La Ley de Promoción de IA no genera ni crea sistemas administrativos. El artículo 6 de la mencionada norma delega en SGTD la autoridad técnico-normativa a nivel nacional responsable de dirigir, evaluar y supervisar el uso y la promoción de la IA, pero no crea un sistema administrativo de Inteligencia Artificial. En este sentido, haría bien la Secretaría de Gobierno y Transformación Digital en evaluar el alcance de sus competencias y revisar los sistemas administrativos que tiene a su cargo.

Por tanto, desconcierta la decisión de la Autoridad de excluir a las empresas privadas de las obligaciones y garantías que se establecen en la propuesta de Reglamento. La Autoridad ha mencionado que son parte de su alcance, pero no son obligatorias las normas para este sector. Esta diferenciación es peligrosa para los derechos fundamentales de las personas usuarias de sistemas de IA, o para quienes puedan resultar afectados por el uso y desarrollo de sistemas de IA, sobre todo si son de riesgo alto e inaceptable. ¿Quién sería responsable en esos casos? La ausencia de una debida justificación en esta exclusión podría hasta significar un trato discriminatorio, entre entidades públicas y privadas.

Finalmente, urge mencionar que, de ser la propuesta de Reglamento de IA únicamente aplicable al sector público, lo cierto es que tendríamos una norma que es letra muerta. ¿Las entidades de la Administración Pública o alguna empresa estatal1 desarrollaría sistemas de Inteligencia Artificial complejos como los que son -supuestamente- objeto de regulación de dicho reglamento? En todo caso, sería deseable un sinceramiento y que la norma se titule “Reglamento de Uso de Inteligencia Artificial para el Sector Público”. En cuyo caso, el impulso innovador que se pretende para aprobar esta norma caería en saco roto.

2. La falta de claridad sobre los sujetos obligados: ¿Quién es el implementador?

Independientemente del punto anterior, y reafirmando que este Reglamento debe ser aplicado tanto al sector público como privado de forma obligatoria, otro problema de la propuesta de Reglamento es la figura del implementador, que se define en el artículo 3, inciso k como “toda persona natural o jurídica que utiliza un sistema basado en inteligencia artificial excepto cuando su uso se da exclusivamente para actividades personales”. Seguidamente, en el cuerpo del Proyecto se  encarga a esta figura obligaciones sobre los sistemas basados en IA. Por ejemplo, el deber de tomar las medidas de gestión adecuadas al nivel de riesgo o el deber de incorporar medidas para la protección de la privacidad y los datos personales.

La definición del implementador resulta ambigua en términos de seguridad jurídica, debido a que no permite diferenciar al implementador del usuario, ni permite identificar con exactitud a los responsables, o a la cadena de responsables sobre el uso y desarrollo de los sistemas de IA. Esto último es alarmante en cuanto a la responsabilidad jurídica y, por ende, para los derechos humanos, pues no permite identificar al sujeto o sujetos responsables de las eventuales vulneraciones a derechos que puedan generar los sistemas de IA. Cabe recordar que según el artículo 21 del Proyecto de reglamento: “el implementador de un sistema basado en IA es responsable ante la afectación de los derechos fundamentales que se haya generado durante su uso y desarrollo.”.

Además, esta regulación es imprecisa respecto a la inclusión de otros posibles sujetos obligados, que se reconocen en la Ley de IA de la Unión Europea, como el desarrollador, el importador o el distribuidor, los cuales aparecen en las definiciones de la Ley europea, junto al implementador. En la Ley europea también se establecen obligaciones especiales y diferenciadas de acuerdo a cada uno, lo que no aparece en la propuesta de Reglamento. Entonces, ¿por qué la autoridad sólo definió la figura del implementador? ¿Cuáles son las obligaciones para el desarrollador, importador y distribuidor? Estos sujetos aparecen nombrados además en otras disposiciones del Proyecto, pero de forma imprecisa y confusa.

Identificar correctamente a los sujetos obligados y sus consecuentes responsabilidades es de suma importancia para el respeto y garantía de los derechos humanos, especialmente si hablamos de sistemas de IA cuyo uso y desarrollo puede generar riesgos altos e inaceptables.

3.  La ausencia de estudios de impacto a derechos humanos, ¿es el enfoque de riesgos suficiente?

El Proyecto de Reglamento sigue como principal referente a la Ley de IA de la Unión Europea, aprobada en marzo y que entrará en vigor este mes de junio (con una ejecución progresiva), tras años de discusión y tras la creación de una Comisión de Inteligencia Artificial en el Parlamento de la Unión Europea. Esta Ley es mundialmente conocida por proponer un enfoque de gestión de riesgos para la determinación de obligaciones diferenciadas, de acuerdo al tipo de riesgo que genere un sistema de IA. Este enfoque está recogido en el Proyecto reglamentario peruano, en el Capítulo III, así como en la Ley de Promoción de IA, que lo reconoce como un principio en el título preliminar.

El enfoque de riesgos ciertamente trae ventajas como establecer obligaciones diferenciadas de acuerdo a tipos graduales de riesgos, permitir el desarrollo o innovación de sistemas de IA que no supongan riesgos inaceptables, y establecer límites y prohibiciones para ciertos casos. Este enfoque se debe leer en el contexto de regulación legislativa de la Unión Europea, que agrupa 27 Estados miembros, y que, por tanto, se hizo con la intención de acordar estándares mínimos que permitan lograr consensos y suplir así el vacío regulatorio.

En cuanto a las desventajas, el enfoque de riesgos, que es ahora el enfoque de moda para el uso y desarrollo de sistemas de IA, no está exento de críticas. Principalmente, nos debe llamar la atención que, bajo la justificación del enfoque de riesgos, se estén promoviendo sistemas de IA exentos de supervisión o sanción. Además, nos debe llamar la atención que la potestad sobre esta lista que permitirá o prohibirá el uso y desarrollo de ciertos sistemas de IA, o que establecerá mayores o menores obligaciones, sea una atribución exclusiva de la Secretaría de Gobierno y Transformación Digital.

Así, la decisión sobre qué sistemas de IA suponen un riesgo bajo, medio, alto o inaceptable no puede estar desligada de la obligación de llevar a cabo estudios de impacto a derechos humanos.2 Finalmente, es el impacto sobre los derechos humanos lo que determinará el tipo de riesgo que supone el uso y desarrollo de cierto sistema de IA, y lo que deberá guiar, en consecuencia, las obligaciones sobre estos sistemas. Lo contrario podría llevar a elecciones y clasificaciones arbitrarias o erradas por no contar con evidencia. Por ejemplo, en el Proyecto se clasifica a los sistemas de IA usados para la evaluación de riesgo de delitos o infracciones penales o reincidencia de personas como sistemas de un tipo de riesgo alto, mas no prohibido (inaceptable), pese a que esto atenta contra el principio de presunción de inocencia y el principio de igualdad y prohibición de la discriminación.

Los derechos humanos son obligaciones, no invitaciones

La fórmula de exclusión del sector privado de la obligación de implementar salvaguardias sobre los sistemas de IA que use o desarrolle, la ambigua identificación del implementador o demás responsables, y la ausencia de evaluaciones basadas en derechos humanos, tienen como resultado graves alarmas para quienes resulten afectados por estos sistemas. La situación se agrava si añadimos las consideraciones de brechas digitales, tecnicismos, ausencia de habilidades o competencias digitales y más ingredientes que hacen de este debate un espacio excluyente y distante de grupos en situación de vulnerabilidad, que serán los principales afectados.