En los últimos meses, las grandes empresas de tecnología han anunciado y lanzado sus propias versiones de inteligencia artificial generativa. En junio, Tim Cook anunció el lanzamiento de Apple Intelligence para las próximas versiones de los sistemas operativos de sus dispositivos. Apenas ayer, 23 de julio, Meta puso a disposición Meta AI en sus aplicaciones Facebook, Instagram, WhatsApp y Messenger en varios países de latinoamérica. Por su lado, Google desarrolló Gemini, la cual busca integrar a sus diferentes productos y plataformas.

En este contexto, donde todas estas compañías están compitiendo por quién desarrolla el mejor asistente de IA, es natural preguntarnos sobre los datos utilizados para generar estos modelos. Especialmente los datos personales y los datos que generamos mientras usamos cada una de estas plataformas. Por eso es necesario conocer los conceptos y procesos que, luego de su respectivo análisis, nos permitirán decidir si queremos que nuestros datos sean utilizados o no y cómo hacerlo.

Sobre los conceptos…

Lo primero que debemos tener en cuenta es que la inteligencia artificial de la que se está hablando en la mayoría de espacios (educativos, económicos, legales, etcétera) es la inteligencia artificial generativa: una tecnología con la capacidad de crear imágenes, textos, videos y otros elementos a partir de instrucciones (prompts) dadas por el usuario. Algunos ejemplos de este tipo de tecnología son ChatGPT, Dall-E, Copilot, etcétera.

Es importante diferenciar este tipo de tecnología con la inteligencia artificial que ha existido entre nosotros desde hace más de 60 años, la cual, naturalmente, ha ido evolucionando con el diseño de nuevos materiales, la investigación y el volumen de datos disponibles. En las últimas dos décadas, las grandes plataformas que gobiernan Internet han utilizado algoritmos de inteligencia artificial principalmente para mejorar sus sistemas de recomendación de contenido (amigos, productos, fotos, videos, etc.), y para ello han utilizado los datos generados por los usuarios en sus respectivas plataformas.

Entonces no es la primera vez que Meta, Google, Amazon, Apple u otra compañía entrenan modelos de IA tomando como fuente nuestros datos. La diferencia es que esta vez la cantidad de datos utilizados necesarios para el entrenamiento de estos modelos de inteligencia artificial generativa es mucho más grande y variada (imágenes, párrafos completos, audio, video) que antes.

Lo que hacen estos modelos es identificar patrones y estilos en los textos, imágenes, videos o audios con el objetivo de replicarlos y generar nuevos elementos. Esto nos lleva al siguiente paso.

Cómo funciona

En un post anterior ya explicamos cómo fue que llegamos a ChatGPT y cómo funciona esta tecnología. De forma similar en el caso de otros modelos de generación de imágenes o código, se utilizan redes neuronales para identificar patrones en los datos de entrada y, a partir de estos patrones, generar nueva información. La capacidad de esta tecnología para identificar estos patrones en datos no estructurados (imágenes, libros, videos y música) la hace particularmente atractiva para toda la información que hemos generado desde los inicios de Internet y especialmente en redes sociales.

Debido a que la cantidad de datos requeridos para el entrenamiento es gigantesca, el aprendizaje no puede hacerse en tiempo real, es decir que trabajan con información recolectada hasta cierta fecha (cutoff date). Por ejemplo, la primera versión de ChatGPT fue entrenada únicamente con datos previos a septiembre del 2021; posteriormente pueden lanzarse versiones con ajustes menores, pero la información base mantiene una fecha de corte.

Muchas plataformas han optado por «conectarse» a Internet y que sus respuestas sean un resumen de los resultados que han podido encontrar. Esto con el fin de citar fuentes de información.

Por qué es necesario tanta información

Si tomamos en cuenta los modelos que generan texto, estos buscan interactuar con los usuarios casi de forma natural como si fuera otro ser humano. Y para poder replicar las variaciones, dialectos, jergas y estilos de escritura de un ser humano es necesario una gran cantidad de datos que permita justamente entender el contexto y el marco general. Esto ayuda a que los conceptos sean menos ambiguos, evitar sesgos y mejorar la calidad de las respuestas dadas por el modelo, haciéndolo más «natural».

Los problemas

Debido a que estos modelos aprenden patrones de los datos que fueron utilizados para entrenamiento, es posible que, dada una instrucción (prompt injection), la respuesta del modelo incluya información confidencial de una empresa o datos personales. Esto es más probable en modelos de los cuales no se sabe mucho sobre los datos que fueron utilizados para el entrenamiento. Para evitar difundir esta información, muchas plataformas realizan un control sobre lo que el usuario solicita y buscan mitigar que la salida de estos modelos sea lo menos dañina posible. Otras empresas, se encargan de enmascarar datos sensibles antes del entrenamiento, quedándose solo con la estructura de la información, la cual alimenta al modelo. De esta manera, no es posible un filtrado de datos en su salida.  Esto todavía sigue siendo un trabajo en proceso y cada empresa está mostrando su propia perspectiva.

El panorama actual nos dice que estamos en una carrera sobre qué empresa desarrollará la mejor herramienta de IA generativa, o la más popular. Si bien OpenAI, con el financiamiento de Microsoft, fue la que dio el primer gran paso en el ecosistema, plataformas con mayor tiempo en el mercado como Google, Meta o Apple decidieron incursionar también en esta aventura.

Por lo visto anteriormente, el volumen de datos utilizados para el entrenamiento de estos productos es esencial para un buen resultado. Para ello, cada empresa está dispuesta a hacer uso de los datos que los usuarios han subido a sus respectivas plataformas. Por ejemplo:

• ChatGPT [OpenAI]: Puede utilizar el contenido que el usuario sube a su plataforma para el entrenamiento de próximos modelos, más precisos, mejores en tareas específicas, capacidades y seguridad.
  «When you share your content with us, it helps our models become more accurate and better at solving your specific problems and it also helps improve their general capabilities and safety.»

• Gemini [Google]:  «Google recopila tus conversaciones de Gemini Apps, información relacionada con el uso de productos, información sobre su ubicación y sus comentarios … para ofrecer, mejorar y desarrollar productos, servicios y tecnologías de aprendizaje automático de Google, incluidos los productos empresariales de Google, como Google Cloud».

• Copilot [Microsoft]: «Específicamente la versión disponible en el navegador Edge. En función del aviso del usuario y su consentimiento para compartir datos con Microsoft, Microsoft Edge puede enviar datos pertinentes a Copilot. Para preguntas que no necesitan un contexto de exploración, como «Ayúdeme a planear un viaje a Manhattan», Edge comparte la dirección URL, el título de la página, la consulta del usuario y el historial de conversaciones anteriores para ayudar a Copilot responder a su pregunta de forma eficaz».

• Meta AI [Meta]:  «… Usamos información online disponible públicamente e información con licencia. También utilizamos la información que compartiste en los productos y servicios de Meta. Por ejemplo, publicaciones o fotos con sus descripciones. No usamos el contenido de tus mensajes privados con amigos y familiares para entrenar a nuestras IA.»

Alternativas

Ante este escenario ¿qué pueden hacer los usuarios de estas plataformas? Eso depende de la regulación existente en cada país y los mecanismos disponibles por cada plataforma.

• OpenAI: OpenAI cuenta con un portal (https://privacy.openai.com/policies) donde el usuario puede solicitar, entre otras cosas, detener el entrenamiento de nuevos modelos a partir de sus datos. También puede solicitar la descarga de tus datos o borrar tu cuenta.
• Gemini [Google]: Al ser un producto de Google, es posible gestionar tu actividad a través de su plataforma en myactivity.google.com/product/gemini.

Esto implica poder eliminar tu contenido, configurar una eliminación automática (3, 18 o 36 meses). En caso la actividad esté desactivada, Gemini mantiene las conversaciones guardadas por hasta 72 horas para prestar el servicio.

• Copilot [Microsoft]: En el caso de la versión de Copilot disponible en el navegador Edge, es posible deshabilitar que Copilot acceda al contenido de la página siguiendo los siguientes pasos:
  • Configuración de Microsoft Edge > Barra lateral > Configuración de apps y notificaciones > Copilot > Permitir a Copilot que acceda al contenido de la página web».
• Meta AI [Meta]: En países con un marco regulatorio más fuerte (países de la Unión Europea, Reino Unido o Brasil), Meta ha dispuesto de un formulario acorde a su base legal. Este permite a sus usuarios que sus datos no sean utilizados en el entrenamiento de su inteligencia artificial generativa.

Para países de latinoamérica, como Perú, es posible evitar que nuestro contenido sea fuente de entrenamiento haciendo un cambio en el tipo de visibilidad de nuestras publicaciones. La IA de Meta se entrena con publicaciones en modo público y contenido de la web. Hacer el cambio a modo ‘privado’, evitará que tu contenido sea parte de ese nuevo volumen de entrenamiento.

Esta última opción puede ser un inconveniente para aquellos artistas que por muchos años han utilizado plataformas como Facebook e Instagram para crear una comunidad, al punto que se ha convertido en una parte importante de sus ingresos y comisiones independientes. En ese sentido, existe la posibilidad de publicar sus fotos e ilustraciones sin que los modelos de inteligencia artificial generativa puedan «aprender» de sus estilos y que al mismo tiempo sean imperceptibles por el ojo humano. Por ejemplo, en la Universidad de Chicago se desarrolló The Glaze Project, que promete proteger a los creativos humanos contra los usos invasivos de la inteligencia artificial generativa o GenAI.

El 2 de mayo, la Secretaría de Transformación y Gobierno Digital (SGTD) publicó la propuesta de Reglamento (en adelante, la propuesta de Reglamento) de la Ley N°31814, Ley que promueve el uso de la Inteligencia Artificial en favor del desarrollo económico y social del país (en adelante, la Ley de Promoción de IA). Asimismo, dispuso de un plazo para recibir comentarios o sugerencias, el cual finalizó este sábado 1 de junio,fecha en la que la SGTD también realizó una sesión pública virtual de participación ciudadana a fin de exponer un resumen del Proyecto y recopilar sugerencias.

 

Desde Hiperderecho, junto con la organización AccessNow, hemos enviado en coautoría un documento en el que abordamos alrededor de 20 comentarios sobre la propuesta de Reglamento, especialmente sobre el Capítulo I (Disposiciones Generales) y el Capítulo III (Gestión de Riesgos en los Sistemas basados en Inteligencia Artificial). A continuación exponemos tres de los riesgos más alarmantes que hemos encontrado.

 

1. La exclusión del sector privado

Durante la sesión pública del pasado sábado, la noticia que captó la atención fue la decisión de la SGTD de excluir al sector privado de la aplicación del Reglamento. Esta decisión se sostuvo bajo la interpretación del Decreto Supremo N°157-2021-PCM, que reglamenta el Sistema Nacional de Transformación Digital, en cuyo artículo 5.3 se señala “Las normas y procedimientos emitidos en el marco del Sistema Nacional de Transformación Digital son de carácter obligatorio para las entidades del sector público; y en el caso de las organizaciones del sector privado son de carácter orientador y referencial, salvo que una norma con rango de ley establezca su obligatoriedad”.

 

Sobre la base del citado Decreto, se interpretó que no se podían extraer obligaciones expresas para actores privados a partir de la Ley de Promoción de IA, por cuanto esta no mencionaba explícitamente estas obligaciones. En realidad, ciertamente, esta norma es escueta y ha sido criticada por los vacíos normativos que genera. Es una norma que empieza y  termina con un título preliminar, el cual cuenta con sólo dos capítulos. No obstante, el artículo 1 de la Ley es tajante al señalar que su objeto es promover el uso de la inteligencia artificial “privilegiando a la persona y el respeto de los derechos humanos”. ¿No es acaso la obligación de respetar los derechos humanos igual para el sector público y privado? Seguidamente, la Ley señala también que el uso de la IA debe realizarse “en un entorno seguro que garantice su uso ético, sostenible, transparente, replicable y responsable”. ¿Sólo para el Estado son obligatorias estas garantías? ¿Acaso es el Estado o el sector público los únicos que desarrollarían tecnología basada en Inteligencia Artificial (si acaso lo hacen)?

 

Sumado a ello, la Propuesta de Reglamento menciona que “las disposiciones de la Ley y del presente Reglamento son aplicables a […] el sector privado” y cita para ello al artículo 6 del Decreto de Urgencia que crea el Sistema Nacional de Transformación Digital, que dice: “Los principios, normas y procedimientos que rigen la materia de Transformación Digital son aplicables a las entidades establecidas en […]  la Ley Nº 27444, Ley del Procedimiento Administrativo General, […], y, a las organizaciones de la sociedad civil, ciudadanos, empresas y academia en lo que corresponda.”

 

En todo caso, hace mal la propuesta de Reglamento en hacer referencia al Sistema Nacional de Transformación Digital para enmarcar su ámbito de aplicación. El mencionado Decreto de Urgencia crea y desarrolla sistemas administrativos (en específico, el de Transformación Digital). La Ley de Promoción de IA no genera ni crea sistemas administrativos. El artículo 6 de la mencionada norma delega en SGTD la autoridad técnico-normativa a nivel nacional responsable de dirigir, evaluar y supervisar el uso y la promoción de la IA, pero no crea un sistema administrativo de Inteligencia Artificial. En este sentido, haría bien la Secretaría de Gobierno y Transformación Digital en evaluar el alcance de sus competencias y revisar los sistemas administrativos que tiene a su cargo.

 

Por tanto, desconcierta la decisión de la Autoridad de excluir a las empresas privadas de las obligaciones y garantías que se establecen en la propuesta de Reglamento. La Autoridad ha mencionado que son parte de su alcance, pero no son obligatorias las normas para este sector. Esta diferenciación es peligrosa para los derechos fundamentales de las personas usuarias de sistemas de IA, o para quienes puedan resultar afectados por el uso y desarrollo de sistemas de IA, sobre todo si son de riesgo alto e inaceptable. ¿Quién sería responsable en esos casos? La ausencia de una debida justificación en esta exclusión podría hasta significar un trato discriminatorio, entre entidades públicas y privadas.

 

Finalmente, urge mencionar que, de ser la propuesta de Reglamento de IA únicamente aplicable al sector público, lo cierto es que tendríamos una norma que es letra muerta. ¿Las entidades de la Administración Pública o alguna empresa estatal desarrollaría sistemas de Inteligencia Artificial complejos como los que son -supuestamente- objeto de regulación de dicho reglamento? En todo caso, sería deseable un sinceramiento y que la norma se titule “Reglamento de Uso de Inteligencia Artificial para el Sector Público”. En cuyo caso, el impulso innovador que se pretende para aprobar esta norma caería en saco roto.

2. La falta de claridad sobre los sujetos obligados: ¿Quién es el implementador?

Independientemente del punto anterior, y reafirmando que este Reglamento debe ser aplicado tanto al sector público como privado de forma obligatoria, otro problema de la propuesta de Reglamento es la figura del implementador, que se define en el artículo 3, inciso k como “toda persona natural o jurídica que utiliza un sistema basado en inteligencia artificial excepto cuando su uso se da exclusivamente para actividades personales”. Seguidamente, en el cuerpo del Proyecto se  encarga a esta figura obligaciones sobre los sistemas basados en IA. Por ejemplo, el deber de tomar las medidas de gestión adecuadas al nivel de riesgo o el deber de incorporar medidas para la protección de la privacidad y los datos personales.

 

La definición del implementador resulta ambigua en términos de seguridad jurídica, debido a que no permite diferenciar al implementador del usuario, ni permite identificar con exactitud a los responsables, o a la cadena de responsables sobre el uso y desarrollo de los sistemas de IA. Esto último es alarmante en cuanto a la responsabilidad jurídica y, por ende, para los derechos humanos, pues no permite identificar al sujeto o sujetos responsables de las eventuales vulneraciones a derechos que puedan generar los sistemas de IA. Cabe recordar que según el artículo 21 del Proyecto de reglamento: “el implementador de un sistema basado en IA es responsable ante la afectación de los derechos fundamentales que se haya generado durante su uso y desarrollo.”.

 

Además, esta regulación es imprecisa respecto a la inclusión de otros posibles sujetos obligados, que se reconocen en la Ley de IA de la Unión Europea, como el desarrollador, el importador o el distribuidor, los cuales aparecen en las definiciones de la Ley europea, junto al implementador. En la Ley europea también se establecen obligaciones especiales y diferenciadas de acuerdo a cada uno, lo que no aparece en la propuesta de Reglamento. Entonces, ¿por qué la autoridad sólo definió la figura del implementador? ¿Cuáles son las obligaciones para el desarrollador, importador y distribuidor? Estos sujetos aparecen nombrados además en otras disposiciones del Proyecto, pero de forma imprecisa y confusa.

 

Identificar correctamente a los sujetos obligados y sus consecuentes responsabilidades es de suma importancia para el respeto y garantía de los derechos humanos, especialmente si hablamos de sistemas de IA cuyo uso y desarrollo puede generar riesgos altos e inaceptables.

3.  La ausencia de estudios de impacto a derechos humanos, ¿es el enfoque de riesgos suficiente?

El Proyecto de Reglamento sigue como principal referente a la Ley de IA de la Unión Europea, aprobada en marzo y que entrará en vigor este mes de junio (con una ejecución progresiva), tras años de discusión y tras la creación de una Comisión de Inteligencia Artificial en el Parlamento de la Unión Europea. Esta Ley es mundialmente conocida por proponer un enfoque de gestión de riesgos para la determinación de obligaciones diferenciadas, de acuerdo al tipo de riesgo que genere un sistema de IA. Este enfoque está recogido en el Proyecto reglamentario peruano, en el Capítulo III, así como en la Ley de Promoción de IA, que lo reconoce como un principio en el título preliminar.

 

El enfoque de riesgos ciertamente trae ventajas como establecer obligaciones diferenciadas de acuerdo a tipos graduales de riesgos, permitir el desarrollo o innovación de sistemas de IA que no supongan riesgos inaceptables, y establecer límites y prohibiciones para ciertos casos. Este enfoque se debe leer en el contexto de regulación legislativa de la Unión Europea, que agrupa 27 Estados miembros, y que, por tanto, se hizo con la intención de acordar estándares mínimos que permitan lograr consensos y suplir así el vacío regulatorio.

 

En cuanto a las desventajas, el enfoque de riesgos, que es ahora el enfoque de moda para el uso y desarrollo de sistemas de IA, no está exento de críticas. Principalmente, nos debe llamar la atención que, bajo la justificación del enfoque de riesgos, se estén promoviendo sistemas de IA exentos de supervisión o sanción. Además, nos debe llamar la atención que la potestad sobre esta lista que permitirá o prohibirá el uso y desarrollo de ciertos sistemas de IA, o que establecerá mayores o menores obligaciones, sea una atribución exclusiva de la Secretaría de Gobierno y Transformación Digital.

 

Así, la decisión sobre qué sistemas de IA suponen un riesgo bajo, medio, alto o inaceptable no puede estar desligada de la obligación de llevar a cabo estudios de impacto a derechos humanos. Finalmente, es el impacto sobre los derechos humanos lo que determinará el tipo de riesgo que supone el uso y desarrollo de cierto sistema de IA, y lo que deberá guiar, en consecuencia, las obligaciones sobre estos sistemas. Lo contrario podría llevar a elecciones y clasificaciones arbitrarias o erradas por no contar con evidencia. Por ejemplo, en el Proyecto se clasifica a los sistemas de IA usados para la evaluación de riesgo de delitos o infracciones penales o reincidencia de personas como sistemas de un tipo de riesgo alto, mas no prohibido (inaceptable), pese a que esto atenta contra el principio de presunción de inocencia y el principio de igualdad y prohibición de la discriminación.

 

Los derechos humanos son obligaciones, no invitaciones

La fórmula de exclusión del sector privado de la obligación de implementar salvaguardias sobre los sistemas de IA que use o desarrolle, la ambigua identificación del implementador o demás responsables, y la ausencia de evaluaciones basadas en derechos humanos, tienen como resultado graves alarmas para quienes resulten afectados por estos sistemas. La situación se agrava si añadimos las consideraciones de brechas digitales, tecnicismos, ausencia de habilidades o competencias digitales y más ingredientes que hacen de este debate un espacio excluyente y distante de grupos en situación de vulnerabilidad, que serán los principales afectados.

El día de hoy 13 de marzo, tras el debate en la sesión plenaria, el Parlamento Europeo aprobó con 523 votos a favor, 46 en contra y 49 abstenciones la Ley de Inteligencia Artificial de la Unión Europea (conocida también como el AI Act). Asimismo, exactamente hace un mes, el pasado 13 de febrero, el partido político Podemos Perú presentó el Proyecto de Ley 7033/2023-CR, Ley que Regula el Desarrollo y Uso de la Inteligencia Artificial en el Perú. Un proyecto que tiene una clara influencia de la Ley europea y con un objetivo similar a la ya vigente Ley 31814, Ley que promueve el uso de la Inteligencia Artificial en favor del desarrollo económico y social del país, publicada en julio del año pasado (2023). En este artículo analizamos el Proyecto de Ley, su relación con la actual Ley 31814, y su inspiración: el AI Act.

El Proyecto que busca regular el desarrollo y uso de IA en el Perú

El objetivo del Proyecto de Ley 7033/2023 es establecer el marco legal para el uso y regulación de la IA en el territorio nacional, con el fin de garantizar la protección de los derechos fundamentales, la privacidad y la seguridad de los ciudadanos. Y, en consecuencia, fomentar la transparencia, ética, innovación y progreso en el campo de la inteligencia artificial, evitando riesgos y consecuencias negativas.

En cuanto a su estructura, el proyecto cuenta con 29 artículos agrupados en títulos que abordan los siguientes temas: ámbito de aplicación, definiciones y principios (Títulos I y II); gestión de riesgos, regulación de la IA y responsabilidades por daños (Títulos III, IV, V y VII); cooperación y estándares internacionales (Título VI); e investigación, desarrollo y capacitación (Título VIII).

Analizando la inicIAtiva

Si bien este Proyecto coincide en su objeto con la Ley 31814, Ley que promueve el uso de la Inteligencia Artificial en el Perú, se pueden identificar algunas diferencias entre ambos. En primer lugar, la Ley vigente es mucho más sucinta en su regulación, cuenta con un único título y dos capítulos, dedicados a las disposiciones generales y a la autoridad nacional. En segundo lugar, si bien la Ley 31814  reconoce como un principio para el desarrollo y uso de la inteligencia artificial a los estándares de seguridad basados en riesgos, en comparación con el reciente Proyecto de Ley 7033/2023-CR, su enfoque basado en riesgos es rudimentario.

Inclusive, la perspectiva sobre la IA es diferente en ambos textos. La definición de IA por parte de la vigente Ley 31814 es “tecnología emergente de propósito general que tiene el potencial de mejorar el bienestar de las personas, contribuir a una actividad económica global sostenible positiva, aumentar la innovación y la productividad, y ayudar a responder a los desafíos globales clave” (artículo 3, inciso a). Mientras tanto, el citado Proyecto de Ley define a la IA como “la combinación de algoritmos planteados con el propósito de crear máquinas que presenten las mismas capacidades que el ser humano” (artículo 3, primer párrafo). Así, en el Proyecto se muestra un concepto más neutral, que no enfatiza los beneficios de la IA, sino que toma una posición netamente técnica y advierte sobre los riesgos. Para ello, agrega en su lista de definiciones términos como “riesgo”, “sesgo de automatización”, “uso indebido razonablemente previsible”, entre otros. Asimismo, esto se evidencia de la estructura del Proyecto, que dedica cuatro títulos específicos a la regulación y responsabilidad sobre los riesgos de la IA (el Título III, IV, V y VII).

La Unión Europea estuvo aquí

Los principales dos contrastes entre el Proyecto de Ley 7033/2023 y la Ley 31814 (una definición neutral de IA y un minucioso enfoque basado en riesgos) son características clave del AI Act  (2021/0106  COD), propuesto el 23 abril de 2021 por la Comisión Europea. La versión final del AI Act, de febrero de 2024, fue debatida ayer en la sesión plenaria del Parlamento Europeo y aprobada hoy, quedando pendiente su publicación en el diario oficial. Esta propuesta legislativa tuvo como objetivo general armonizar las reglas sobre IA en la Unión Europea.

Para el 2021 ya existían otras regulaciones previas como el Plan Coordinado sobre la IA de 2018 y el Libro Blanco sobre la IA de 2020, ambos de la Comisión Europea. Sin embargo, estos documentos tenían una naturaleza preparatoria o transitoria y era necesario homogeneizar la regulación sobre IA. Ello en atención a su rápido desarrollo, a los riesgos que representaba para los derechos humanos y al interés de convertir a Europa en un mercado seguro para la inversión y el desarrollo de IA, especialmente frente a USA y China.

En su versión final, el AI Act destaca por centrarse en los sistemas de inteligencia artificial de alto riesgo. Para lo cual, establece cuatro clasificaciones de riesgo: (i) mínimo o sin riesgo, (ii) riesgo de transparencia (p.e. para los bots o deepfakes), (iii) riesgo alto (p.e, para los dispositivos médicos), y (iv) riesgo inaceptable. Sólo este último está prohibido, mientras que los otros dos se encuentran permitidos, pero sujetos a obligaciones específicas; y , por último, el riesgo mínimo está permitido sin restricciones.

Sumado a ello, la norma prescribe prohibiciones para casos específicos de uso de IA.1 Por ejemplo, prohíbe la puntuación social y el uso de IA utilizada para manipular o explotar las vulnerabilidades de los usuarios o para utilizar el reconocimiento de emociones en el trabajo y escuelas. También se prohíbe la extracción no selectiva de imágenes faciales de internet o de tecnologías de videovigilancia con el fin de ampliar o crear bases de datos de reconocimiento facial. De igual forma, limita el uso de sistemas de identificación biométrica por parte de las fuerzas del orden.2 Asimismo, el AI Act dispone de obligaciones y sanciones proporcionales al tamaño de la institución, especialmente para los sistemas de IA de alto riesgo.

No es plagio, es copia

La mayoría de las disposiciones descritas del AI Act —o todas— se encuentran también en el Proyecto 7033/2023-CR, Ley que Regula el Desarrollo y Uso de la Inteligencia Artificial en el Perú. Por ejemplo, el artículo 12 del Proyecto hace una lista de las prohibiciones y/o restricciones en el uso de inteligencia artificial —aunque no especifica claramente en qué casos se prohíbe y en cuáles se restringe—. En la lista se encuentra la prohibición del reconocimiento de emociones en el trabajo y escuelas, la prohibición de creación de bases de datos de reconocimiento facial, la prohibición de sistemas de puntuación social, entre otros. No obstante, muchas de estas disposiciones son agregados incompletos de su norma original, la versión europea. Como muestra de ello, el Proyecto de Ley peruano prohíbe “utilizar sistemas que puntúan en función de sus comportamientos o características personales”. Sin embargo, el IA Act precisa que sólo estarán prohibidos cuando estos  conduzcan a resultados perjudiciales ligados a la discriminación de ciertos grupos.

Por otro lado, el Proyecto de Ley 7033/2023 también recoge uno de los principales pilares del IA Act: las cuatro clasificaciones de riesgo se encuentran previstas en el artículo 10, con la denominación de insignificantes, limitados, elevados e inaceptables. Pero, en esta versión peruana, los riesgos inaceptables podrían ser – contradictoriamente- aceptables. En ese sentido, el Proyecto dispone que la identificación de un riesgo inaceptable podría tener como resultado o la prohibición del sistema de IA, o la adopción de medidas de mitigación. Aunque, nuevamente, no desarrolla cuáles serían los criterios para optar por una u otra alternativa. Mientras que la normativa europea sí prohíbe los riesgos inaceptables.

Si bien no es en sí mismo un problema que el Proyecto de Ley tome como inspiración el AI Act, sí representa un problema la importación legislativa sin un análisis crítico sobre la regulación normativa nacional o regional de América Latina y el Caribe en IA. Además del AI Act, existe la Recomendación sobre la ética de la IA de la UNESCO del 2022, el Proceso de Hiroshima del Grupo de los Siete (G7) sobre IA generativa del 2023, y la Declaración de Santiago para promover una IA ética en América Latina y el Caribe, del 2023.

Una política legislativa seria debería realizar un análisis detallado de derecho comparado de cada uno de estos marcos normativos, a fin de determinar cuál sería más beneficioso de implementarse, de acuerdo con la metodología jurídica correspondiente y a la realidad social, económica, política, y tecnológica, tanto del Perú como de la región. La agenda en IA europea no es la misma que la agenda regional que, por ejemplo, prioriza el fortalecimiento de capacidades ante las desigualdades que se reflejan en la brecha digital; o se caracteriza por limitaciones de presupuesto en el sector público, o de financiamiento para el estudio y desarrollo de la IA en el sector privado (PYMES, academia, organizaciones de sociedad civil).

Asimismo, cabe tomar en cuenta que en nuestros países nos enfrentamos a retos específicos no contemplados en la realidad europea. Por ejemplo, no se realiza mención a la gestión de conocimientos de pueblos indígenas o comunidades campesinas por parte de sistemas de inteligencia artificial; así como su desarrollo, regulación y uso. Tampoco se prioriza un enfoque tomando en cuenta los contextos de autoritarismo en la región, la debilidad de nuestras instituciones, y la ausencia de mecanismos efectivos para el control de un posible uso político de la IA.

Finalmente, cabe recordar que el IA Act es, también, una respuesta geopolítica del bloque económico europeo frente al poder tecnológico de potencias como Estados Unidos y China en la materia. En este sentido, cabe preguntarnos si la respuesta regulatoria que deben de dar los países de nuestra región debe ser la misma que la dada por uno de los bloques económicos del Norte Global o buscar una propia. ¿Cuál es el rol y el posicionamiento que debe tomar nuestra región frente a la discusión global en torno a la Inteligencia Artificial? ¿Qué rol juega la relación de poder Norte-Sur en materia de tecnología en este ámbito? Son algunas de las preguntas que una regulación en materia de IA debería de responder.

Una fiesta sin invitados

Una influencia europea que sería bien recibida en el proceso legislativo del Congreso peruano, y que por el momento no se ha hecho presente, es la consulta a las múltiples partes interesadas del sector público y privado. Tales como los gobiernos, autoridades locales, organizaciones comerciales, interlocutores sociales, expertos, académicos, sociedad civil y ciudadanía en general. Todos los documentos preparatorios que sirvieron como base para el diálogo y debate del AI Act tuvieron previamente un proceso de consulta abierta donde participaron los citados actores.

Así, por ejemplo, la propuesta legislativa inicial, presentada en abril de 2021, recibió 1215 contribuciones, a través de una consulta pública en línea que estuvo disponible durante febrero a junio de 2020. Inclusive, en la introducción de esta propuesta se detalla información desglosada sobre la representación que obtuvo cada sector de acuerdo a las contribuciones.

En el caso peruano, la vigente Ley 31814 se publicó sin consulta. Un debate abierto hubiese podido asegurar una mejor regulación —además de garantizar el principio democrático y la legitimidad—, por la retroalimentación fruto del diálogo entre la comunidad técnica, académica, y las organizaciones de la sociedad civil, del sector empresarial y del sector público, actores fundamentales que cuentan con experiencia y especialización en la materia. Es importante que esta mala práctica no se replique en el Proyecto de Ley 7033/2023-CR ni en futuros proyectos.

Resulta sorpresivo además que estos proyectos de ley no se preocupen por recibir contribuciones de la ciudadanía, mientras que sí se sigue ese procedimiento en órganos del Poder Ejecutivo como la Autoridad Nacional de Protección de Datos Personales, en el proceso de aprobación del Nuevo Reglamento de la Ley de Protección de Datos Personales, por ejemplo. Si bien en este segundo caso existe la obligación por ley de consultar por un plazo de 15 días hábiles, con mayor razón el Congreso tiene la obligación de consultar, de buscar el diálogo y cumplir así con su función principal de representación.

Iniciativas superpuestas

El objetivo del Proyecto de Ley 7033/2023-CR de regular el uso de IA en el territorio nacional se superpone al de la Ley 31814, que promueve el uso de la Inteligencia Artificial en favor del desarrollo económico y social del país. No obstante ello, el citado Proyecto de Ley sólo menciona a la Ley 31814 como parte de su marco normativo, indicando únicamente su objetivo. Es decir, no se pronuncia respecto a artículos que puedan repetirse o contradecirse, y, por ende, no prevé tampoco artículos derogatorios a la Ley 31814. Eso nos lleva a preguntarnos, ¿No debió ser este proyecto una propuesta de modificación a la vigente y recientemente aprobada Ley 31814? O, en caso el limitado contenido de la Ley 31814 sea un obstáculo insuperable para la introducción de reformas que le permitan alcanzar su objetivo, ¿sería mejor derogar esta norma? Recordemos que esta Ley tiene pendiente la publicación de su reglamento en los próximos meses.

Es claro que ante el auge de la inteligencia artificial y el avance de la regulación internacional, exista un interés desde el Congreso por sumarse a la carrera. Sin embargo, tal como sucedió en la región europea, tal vez lo que se necesita actualmente es revisar la Ley 31814, a fin de que se puedan actualizar sus contenidos y construir un verdadero marco de referencia nacional. Es necesario armonizar la regulación ya existente sobre inteligencia artificial en los ámbitos de regulación al consumidor, gobierno digital, sistema financiero y administración de justicia.

El pasado 31 de enero de 2024, la congresista Jackeline Katy Ugarte Mamani, integrante del Grupo Parlamentario Unidad y Diálogo Parlamentario, presentó el Proyecto de Ley 6927/2023-CR, denominado “Ley que obliga el uso de la Inteligencia Artificial en las entidades públicas”. El sucinto proyecto señala como finalidad lograr la efectividad en el servicio público. Para ello, propone modificar la Ley de Procedimiento Administrativo General para obligar a todas las entidades públicas, bajo responsabilidad funcional, a implementar herramientas de inteligencia artificial (IA), tanto en su actividad administrativa como en la prestación de servicios públicos. En este artículo veremos qué retos genera esta iniciativa legislativa.  Leer más

A través de sus distintas redes sociales, la Municipalidad Metropolitana de Lima ha dado a conocer, a través de sus distintas redes sociales, que utiliza cámaras de vigilancia con reconocimiento facial en espacios públicos y, particularmente, en contexto de protestas y movilizaciones sociales. Aquí te contamos por qué ello es inconstitucional.

El derecho a la protección de datos personales como un derecho fundamental

El derecho a la protección de datos personales es un pilar fundamental consagrado en nuestra Constitución y sustentado por una legislación específica que respalda su desarrollo constitucional. Nuestra Carta Magna reconoce este derecho en su artículo 2.6 y lo consagra como un mecanismo esencial para preservar la dignidad, la privacidad y la intimidad de cada persona, garantizando el control sobre la información personal que se recopila sobre nosotros.  Leer más

El pasado jueves 25 de mayo se aprobó en el Pleno del Congreso el Proyecto de Ley 2775/2022-CR, Ley que promueve el uso de la Inteligencia Artificial en favor del desarrollo económico y social del país. Se trata de la primera norma aprobada por el Congreso cuyo objetivo se centra en la promoción de la Inteligencia Artificial (IA), y tuvo bastante éxito para alcanzar consenso: ingresado en agosto, el Proyecto tuvo dictámenes a favor en dos Comisiones, un texto sustitutorio y un último pedido de modificación antes de entrar a la agenda del día, y se aprobó casi por unanimidad (solo una abstención). Con la popularidad que herramientas como Chat-GPT o Dall-e han alcanzado, incluyendo su uso por algunos jueces para la administración de justicia, es claro que esta iniciativa no iba a pasar desapercibida. Sin embargo, ¿supone realmente una nueva regulación para la IA? ¿Cuál es su alcance y qué impactos podría tener su promulgación?

Contenido del proyecto de ley aprobado

El objeto de la ley propuesta, según su artículo 1, es promover el uso de la IA en el marco del proceso de transformación digital con la finalidad de fomentar el desarrollo económico y social del país, para lo cual se debe contar con un entorno seguro que, entre otros, asegure su uso ético.

En el resto de artículos, la norma propuesta se divide en cuatro partes principales:

• Declaración de principios: En el título preliminar, se establecen principios para el desarrollo y uso de la inteligencia artificial, aunque muchos de ellos son extensibles fuera de este campo específico. Con ello, formarían parte del ordenamiento jurídico peruano principios como el de gobernanza de Internet (el cual también se pretendió formalizar en el Proyecto de Ley General de Internet), seguridad basada en riesgos, desarrollo ético como base fundamental para establecer el marco de responsabilidades en el uso de sistemas como la IA, privacidad, etc.
• Declaración de interés nacional: Aunque solo se trate de un extremo declarativo de la norma, su enfoque es medular: señala que es de interés nacional la promoción del talento digital en el aprovechamiento de tecnologías emergentes, así como el fomento del desarrollo y uso de IA en la mejora de los servicios públicos, incluyendo la educación, la salud, la justicia, la seguridad ciudadana, la seguridad digital, los programas sociales, la defensa nacional, etc.
• Definiciones: El texto (luego de las observaciones de la Secretaría de Gobierno y Transformación Digital, SGTD, para incorporar las recomendaciones OCDE) define la inteligencia artificial y la distingue de los sistemas basados en inteligencia artificial. Asimismo, define a las tecnologías emergentes y a los algoritmos.
• “Roles” de la SGTD en materia de IA: La norma precisa que la autoridad nacional encargada de dirigir, evaluar y supervisar el uso y promoción de la IA es la SGTD, quien tiene a su cargo promover, entre otros: (i) el desarrollo de la IA y su adopción como herramienta que impulse el bienestar del país; (ii) la formación de profesionales competentes en la materia; (iii) la creación y fortalecimiento de infraestructura que habilite el desarrollo de la IA; (iv) la adopción de lineamientos éticos para su uso sostenible, transparente y replicable.
• Informe anual: En el único extremo de la norma que propone una obligación jurídica concreta, el texto establece que la SGTD remitirá un informe anual al Congreso de la República sobre los avances en dos políticas públicas encaminadas a la fecha: la Política Nacional de Transformación Digital y la Estrategia Nacional de Inteligencia Artificial.

Alcances de la eventual norma

El objetivo central de la norma es la promoción de la inteligencia artificial. Sin embargo, ningún artículo desarrolla o establece alguna medida que, precisamente, la promueva: de hecho, el texto solo incluye una medida concreta (la obligación de reportar avances anualmente al Congreso), y su naturaleza es informativa, no de promoción. Por lo demás, establece definiciones y aprueba principios que pueden resultar orientadores, pero que no son nuevos para nuestro ordenamiento jurídico. Por ejemplo, el Marco de Confianza Confianza Digital, aprobado por Decreto de Urgencia 007-2020, ya establecía que las entidades públicas y las organizaciones del sector privado deben promover y asegurar el uso ético de tecnologías digitales como la IA. Incluso, desde 2019 se creó un Laboratorio de Gobierno y Transformación Digital del Estado a través del cual la SGTD debe promover el aprovechamiento de la IA (art. 2 de la Resolución SGD Nº 003-2019-PCM-SEGDI).

No solo ya existían estas disposiciones normativas referidas a la promoción de la IA por parte de la Secretaría, sino que ya existen instrumentos en construcción relacionados con la materia. Por ejemplo, la Estrategia de Talento Digital, la Política Nacional de Transformación Digital o la Estrategia Nacional de Inteligencia Artificial son instrumentos de política pública en los que la SGTD ya ha estado trabajando con participación de todas las partes interesadas, recogiendo comentarios y propuestas de mejora.

¿Necesitaban las entidades esta norma para empezar a utilizar la inteligencia artificial en sus procesos y/o servicios? En realidad, no. Por ejemplo, en 2021 se aprobó el Reglamento de la Ley Nº 30926, Ley que Fortalece la Interoperabilidad en el Sistema Nacional Especializado de Justicia, según el cual se promueve la adopción de tecnologías emergentes tales como la IA y la cadena de bloques para la prevención de la violencia contra las mujeres e integrantes del grupo familiar en entornos digitales. De otro lado, ese mismo año, la Superintendencia de Registros Públicos autorizó el servicio gratuito de orientación por agente virtual que brinda información empleando IA. Incluso, la Contraloría General de la República también habilitó al personal del Sistema de Control para hacer uso de mecanismos tecnológicos, incluyendo servicios de IA. En materia de salud, el personal del Instituto Nacional de Salud también está facultado a emplear la IA para el cumplimiento de sus funciones y garantizar o viabilizar la interoperabilidad con otras entidades.

Enfoques faltantes

A pesar de que el impacto del Proyecto aprobado sea bastante modesto, sí permite identificar el enfoque detrás del acercamiento del Congreso de la República a la IA. Nada más al definirla, el texto se aparta de una descripción técnica y asume a la IA como una herramienta tecnológica provechosa per sé, señalando su potencial para el beneficio económico y social, pero olvidando que tiene otras aplicaciones (algunas de ellas dañinas), a las cuales no se le deberían dejar de aplicar principios como el de desarrollo ético, privacidad, etc.

A la vez, como se advierte del artículo 2 (“interés nacional”), el presupuesto es que la IA debe ser utilizada para mejorar servicios públicos en su más amplio alcance, desde la administración de justicia hasta la seguridad ciudadana. Sin embargo, es importante advertir que la automatización de la toma de decisiones y la gran capacidad de análisis de datos que tiene la hacen susceptible de ocasionar impactos a gran escala sobre los derechos de las personas. En ese sentido, deben también explorarse otros enfoques:

• • Más evidencia y menos tecnosolucionismo: Aunque nos gustaría creer que hay soluciones tecnológicas sencillas para problemas humanos muy complejos, lo cierto es que la política pública debe estar orientada por evidencia. La prisa e inmediatez para ir al ritmo del desarrollo de las tecnologías es peligrosa porque no permite un adecuado análisis de impacto en derechos humanos (y, a la larga, puede incluso significar candados normativos para la innovación).
  • Servicios públicos sin discriminación: Es importante también reparar en la gravedad de permitir que las decisiones importantes sean tomadas por la IA sin ningún tipo de protocolo o revisión. Los errores cometidos por la IA, en conjunto con su escalabilidad, son dramáticamente graves para los derechos humanos. Se trata de errores para nada inofensivos: está documentado que  el racismo y el sexismo son parte de la arquitectura y lenguaje de la tecnología, una cuestión que amerita atención y remediación. Los procesos de toma de decisión conducidos algorítmicamente requieren un contexto social y humano, y esto importa para todas las personas involucradas con este tipo de tecnologías a diario, con especial impacto para las personas de grupos marginalizados. Por eso, la incorporación de la IA a los servicios públicos debe contar con salvaguardas para los derechos humanos y otros estándares éticos que mitiguen estos riesgos.
  • Usos creativos y libre acceso a la cultura: Aunque aún no ha sucedido, cuando surjan iniciativas de regulación de la IA, debe tenerse en cuenta también a las personas usuarias de estas herramientas, sobre todo en su vertiente generativa, y no únicamente a las industrias. Para muchas personas, las IA generativas constituyen formas de expresión artística y cultural.

Sin duda, la aprobación de este Proyecto (y, en particular, la rapidez con que se le dio trámite y la cantidad de votos a favor que alcanzó) dan cuenta del interés del Congreso de la República por la Internet y las nuevas tecnologías. Esperemos que venga acompañado de un adecuado debate, asesoramiento y convocatoria a personas con experiencia en la materia.