REGULACIÓN DE LOS SISTEMAS DE IA DE ALTO RIESGO EN EL REGLAMENTO DE INTELIGENCIA ARTIFICIAL

Por María Luisa González Tapia

I. Introducción

El 13 de marzo de 2024, el Parlamento Europeo aprobó, finalmente, el Reglamento (UE) 2024/1689, conocido como Reglamento de Inteligencia Artificial o Ley de Inteligencia Artificial (en adelante, “RIA”), del que previamente se había distribuido varios borradores que sufrieron cambios sustanciales en el proceso de tramitación de la norma. La publicación del texto consolidado en el Boletín Oficial del Estado se llevó a cabo el 12 de julio y puede consultarse aquí.

El RIA tiene un enfoque de reglamento de producto. Su complejidad reside en gran medida en que la perspectiva puramente técnica y administrativa de cómo controlar la entrada en el mercado europeo y la comercialización en el mismo de un producto determinado se entremezcla con obligaciones relacionadas con la garantía de derechos fundamentales. Así, en el apartado primero del artículo 1, que estable el objeto de la norma, se indica que esta pretende “mejorar el funcionamiento del mercado interior y promover la adopción de una inteligencia artificial (IA) centrada en el ser humano y fiable, garantizando al mismo tiempo un elevado nivel de protección de la salud, la seguridad y los derechos fundamentales consagrados en la Carta, incluidos la democracia, el Estado de Derecho y la protección del medio ambiente, frente a los efectos perjudiciales de los sistemas de IA (en lo sucesivo, «sistemas de IA») en la Unión así como prestar apoyo a la innovación”.

El producto que se regula son los sistemas de IA y aquí se encuentra un segundo aspecto que aporta complejidad a la norma, puesto que no resulta sencillo entender en qué consisten. Una de las modificaciones introducidas en el proceso de aprobación a las que hacíamos referencia afecta a algo tan esencial como su definición. La que figura en el punto 1 del actual artículo 3 dedicado a definiciones (y que, por cierto, incluye 68 términos en total), es la siguiente:

“Sistema de IA: un sistema basado en una máquina que está diseñado para funcionar con distintos niveles de autonomía y que puede mostrar capacidad de adaptación tras el despliegue, y que, para objetivos explícitos o implícitos, infiere de la información de entrada que recibe la manera de generar resultados de salida, como predicciones, contenidos, recomendaciones o decisiones, que pueden influir en entornos físicos o virtuales”.

Se trata de una definición que ya no identifica sistema de IA con software ni se remite a tecnologías o métodos concretos listados en un anexo, como se hacía en el último borrador distribuido. Los sistemas de IA se diferencian de los que no lo son por sus funcionalidades y capacidades: (i) autonomía, (ii) capacidad de adaptación y (iii) generación de resultados de salida en base a información de entrada recibida. Esta definición reúne las características básicas de lo que coloquialmente se entiende por inteligencia artificial. No obstante, la lectura del artículo 3.1 se genera diversas dudas sobre qué debemos considerar sistema de IA y qué no en entornos que utilizan aplicaciones cada vez más complejas y que generan contenidos de cierta sofisticación.

Dentro de los sistemas de IA, los denominados de “alto riesgo” son los que reciben mayor atención por parte del legislador, y en los que se concentra el grueso de las obligaciones. Los artículos 6 a 49 (capítulo III del RIA) se dedican a los sistemas de IA de alto riesgo. Para hacernos una idea de su importancia conviene resaltar que se trata de 43 artículos de una norma que contiene 113.

II. ¿Qué son los sistemas de IA de alto riesgo?

Para comprender cuándo un sistema de IA se considera de alto riesgo sí será necesario el análisis de dos anexos. El artículo 6 del RIA establece diferencia dos bloques o grupos de sistemas:

• En el primer bloque, tenemos los sistemas de IA que se definen por referencia al anexo I del RIA. Este anexo contiene un listado de 20 actos legislativos de armonización de la UE referidos a materias diversas como seguridad de los juguetes, embarcaciones de recreo y motos acuáticas, componentes de seguridad de ascensores, equipos radioeléctricos, equipos a presión, aviación civil, etc.
  
  Se consideran de alto riesgo los sistemas de IA destinados a ser utilizados como componentes de seguridad de los productos regulados por estos actos legislativos o aquellos que sean el propio producto regulado y que se sometan a una evaluación de conformidad de terceros para su introducción en el mercado.
   
• El segundo bloque es mucho más amplio y agrupa sistemas de IA en función de la finalidad para la que se utilizan. En este caso, el anexo III del RIA contiene un listado de 8 ámbitos de operación o fines que convierten a los sistemas de IA que se apliquen a los mismos en sistemas de alto riesgo:

1. Biometría

2. Educación y formación profesional

3. Empleo, gestión de los trabajadores y acceso al autoempleo

4. Acceso a servicios privados esenciales y a servicios y prestaciones públicos esenciales y disfrute de estos servicios y prestaciones

5. Garantía del cumplimiento del Derecho

6. Migración, asilo y gestión del control fronterizo

7. Administración de justicia y procesos democráticos

Sin ánimo de exhaustividad, a modo de ejemplo, en el grupo 2, sobre educación y formación profesional, se incluyen los siguientes sistemas de IA:

“a) Sistemas de IA destinados a ser utilizados para determinar el acceso o la admisión de personas físicas a centros educativos y de formación profesional a todos los niveles o para distribuir a las personas físicas entre dichos centros.

b) Sistemas de IA destinados a ser utilizados para evaluar los resultados del aprendizaje, también cuando dichos resultados se utilicen para orientar el proceso de aprendizaje de las personas físicas en centros educativos y de formación profesional a todos los niveles.

c) Sistemas de IA destinados a ser utilizados para evaluar el nivel de educación adecuado que recibirá una persona o al que podrá acceder, en el contexto de los centros educativos y de formación profesional o dentro de estos a todos los niveles.

d) Sistemas de IA destinados a ser utilizados para el seguimiento y la detección de comportamientos prohibidos por parte de los estudiantes durante los exámenes en el contexto de los centros educativos y de formación profesional o dentro de estos a todos los niveles”.

Para complicar más las cosas, el apartado 3 del artículo 6 permite que se excluyan de la categoría de alto riesgo algunos sistemas de IA utilizados en los ámbitos descritos en el anexo III, cuando se den determinadas circunstancias y siempre que se documente la evaluación efectuada para tal exclusión. Por tanto, esta segunda definición también resulta ciertamente complejo.

III. Obligaciones de los distintos sujetos que intervienen en el desarrollo, comercialización y uso de los sistemas de IA de alto riesgo.

A partir del artículo 8 del RIA, se incluyen distintas obligaciones tanto para los proveedores, distribuidores e importadores de sistemas de IA de alto riesgo como para los responsables del despliegue (es decir, las entidades que los implantan y utilizan en sus organizaciones).

En la tabla siguiente, se muestra el contenido del Capítulo III relativo a sistemas de IA de alto riesgo:

Tabla 1. Contenido del Capítulo III del Reglamento de Inteligencia Artificial

Como puede observarse, el Capítulo III se divide en 5 secciones. La primera, se corresponde con los artículos dedicados a la definición de sistema de IA de alto riesgo que hemos resumido ya.

La segunda sección establece los requisitos básicos que deben cumplir estos sistemas y que constituyen, básicamente, obligaciones para los proveedores, es decir, los fabricantes o desarrolladores de los sistemas. El listado de aspectos que se deben cumplir para comercializar y utilizar estos sistemas no termina aquí, sino que se desarrolla en la sección 3, asignando además obligaciones concretas a todos los intervinientes en la comercialización y uso del producto.

Por último, las secciones 4 y 5 incluyen aspectos administrativos y de control de este tipo de sistemas, entre las que hay que destacar el proceso de declaración UE de conformidad y marcado CE.

Las principales obligaciones recaen en los proveedores de sistemas de IA de alto riesgo. Entre otros requisitos, éstos han de (i) establecer un sistema de gestión de riesgos; (ii) garantizar la calidad de los datos de entrenamiento, validación y prueba estableciendo prácticas adecuadas de gobernanza y gestión de los mismos; (iii) desarrollar documentación técnica del producto con un contenido específico (que se detalla en el artículo 11 y anexo IV); (iv) establecer medidas de supervisión humana en los sistemas que desarrollen proporcionales a los riesgos; (v) garantizar que los sistemas funcionen con un nivel de transparencia adecuado y (vi) disponer de disponer de un sistema de gestión de la calidad que garantice el cumplimiento del reglamento. Además, son los responsables de asegurar que se lleva a cabo el proceso de evaluación de conformidad y de incluir el tan fundamental marcado CE en los sistemas.

Tal y como dispone el artículo 22 del RIA, antes de comercializar sus sistemas en la UE, si están establecidos en terceros países, los proveedores de sistemas de IA de alto riesgo deben nombrar mediante mandato escrito un representante autorizado dentro de la UE.

Por su parte importadores y distribuidores deben, entre otros aspectos, y por destacar solamente aquellos de mayor relevancia, asegurarse de que los sistemas de IA que introducen en la UE y comercializan y los proveedores con los que trabajan cumplen las principales obligaciones formales. Entre estas, se encuentran disponer de la documentación técnica necesaria y del marcado CE.

Tras la asignación de responsabilidades y obligaciones a todos aquellos que intervienen en la fabricación y puesta en el mercado del producto, las entidades usuarias de sistemas de IA de alto riesgo, que como hemos indicado se denominan responsables del despliegue en la versión finalmente aprobada del RIA, no se han de limitar únicamente a adquirir el producto que lleva el marcado CE y va acompañado de una copia de la declaración UE de conformidad.

IV. El papel del responsable del despliegue

Según dispone el artículo 26.1 del RIA, con una redacción que recuerda el principio de responsabilidad proactiva del Reglamento General de Protección de Datos “los responsables del despliegue de sistemas de IA de alto riesgo adoptarán medidas técnicas y organizativas adecuadas para garantizar que utilizan dichos sistemas con arreglo a las instrucciones de uso que los acompañen”.

Además, están obligados, entre otras cuestiones, a:

• Encomendar la supervisión humana a personas físicas que tengan la competencia, la formación y la autoridad necesarias, según establece el mismo artículo 26 en su apartado 2. Esta obligación redunda en lo ya dispuesto en el artículo 4 del RIA sobre alfabetización en materia de IA.
• Asegurar que los datos de entrada sean pertinentes y suficientemente representativos en vista de la finalidad prevista del sistema (art. 26.4)
• Vigilar el funcionamiento del sistema de IA de alto riesgo, basándose en las instrucciones de uso (art. 26.5). Esta obligación puede implicar informar a los proveedores, importadores, distribuidores y autoridades competentes e, incluso, suspender el uso del sistema.
• Conservar registros generados automáticamente por los sistemas (art. 26.6).
• Realizar una evaluación de impacto relativa a los derechos fundamentales para determinados sistemas de alto riesgo según lo fijado en el artículo 27 del RIA, y con independencia de las evaluaciones de impacto sobre la protección de datos que corresponda efectuar según la normativa específica que regula esta materia.

Por último, resaltaremos que, cuando se implante un sistema de IA de alto riesgo en el lugar de trabajo, “los responsables del despliegue que sean empleadores informarán a los representantes de los trabajadores y a los trabajadores afectados de que estarán expuestos a la utilización del sistema de IA de alto riesgo” (art. 26.7).

V. Conclusión

Para cualquier entidad que intervenga en la fabricación, puesta en el mercado europeo y uso de sistemas de IA de alto riesgo, la aprobación del RIA supondrá un cambio significativo, que deberá ir acompañado de un asesoramiento legal adecuado.

Proveedores, importadores, distribuidores y otros agentes deberán acostumbrarse a las nuevas cargas administrativas asociadas a la comercialización de este producto, que constituirán una de las líneas de asesoramiento más interesante para los abogados que se especialicen en la materia.

Los proveedores, además, se encuentran obligados a desarrollar los sistemas destinados a ser utilizados en la Unión Europea incluyendo los requisitos específicos establecidos en el RIA, por lo que tendrán que conocer en detalle el contenido de la norma y preocuparse de su cumplimiento en distintas fases del proceso de desarrollo en las que antes raramente intervenía un asesor legal. Con la obligación de nombrar un representante establecido dentro de la Unión Europea, se abre una nueva línea de negocio para algunas organizaciones que ofrecen este tipo de servicios.

Por su parte, los responsables del desplieguen tendrán que establecer políticas y procedimientos internos que les permitan controlar que los sistemas de IA de alto riesgo que se introducen en su organización cumplen con los requisitos exigidos por la norma y se utilizan de acuerdo con las instrucciones del proveedor, llevando a cabo de evaluaciones de impacto para las que no existe todavía una metodología única y definida.