Un paso hacia adelante en la regulación de la inteligencia artificial

En el BOE del día 9 de noviembre, se ha publicado el Real Decreto 817/2023 que establece el marco para el entorno controlado de pruebas (“sandbox”) del Reglamento Europeo de Inteligencia Artificial. Este decreto permite al Ministerio de Asuntos Económicos y Transformación Digital, a través de su Secretaría de Estado de Digitalización e Inteligencia Artificial, convocar a empresas para participar en este entorno de pruebas.

Objetivo y entrada en vigor

La norma tiene por objeto establecer un entorno controlado de pruebas para ensayar el cumplimiento de ciertos requisitos por parte de algunos sistemas de inteligencia artificial (IA) que puedan suponer riesgos para la seguridad, la salud y los derechos fundamentales de las personas. Asimismo, se regula el procedimiento de selección de los sistemas y entidades que participarán en el entorno controlado de pruebas

El entorno de pruebas posibilita la cooperación entre los usuarios y los proveedores de IA. Además, pretende acercar a las autoridades competentes las empresas desarrolladoras de IA.

El objetivo de la norma será anticiparse a las exigencias que previsiblemente Reglamento europeo de IA incorporará, con el fin de que, sin necesidad de aguardar a que éste se apruebe, proveedores, usuarios y autoridades comiencen a analizar y a poner en práctica los requisitos regulatorios que se espera que introduzca. De hecho, la norma prevé que este Real Decreto tendrá una vigencia de máximo 36  meses desde su entrada en vigor (10 de noviembre de 2023) o, en su caso, hasta que sea aplicable en el Reino de España el Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de IA.

Ámbito de aplicación

La norma es de aplicación:

• A las administraciones públicas y entidades del sector público institucional.
• A entidades privadas seleccionadas en el entorno controlado de pruebas de inteligencia artificial.

Definiciones

En la norma se regulan las definiciones, entre las que podemos destacar:

1. «Sistema de inteligencia artificial»: sistema diseñado para funcionar con un cierto nivel de autonomía y que, basándose en datos de entradas proporcionadas por máquinas o por personas, infiere cómo lograr un conjunto de objetivos establecidos utilizando estrategias de aprendizaje automático o basadas en la lógica y el conocimiento, y genera información de salida, como contenidos (sistemas de inteligencia artificial generativos), predicciones, recomendaciones o decisiones, que influyan en los entornos con los que interactúa.

2. «Sistema de inteligencia artificial de alto riesgo»: sistema de inteligencia artificial que cumpla alguno de los siguientes supuestos:

• Un sistema de inteligencia artificial que constituya un producto regulado por la legislación de armonización de la Unión especificada en el anexo VII del presente real decreto se considerará de alto riesgo si debe someterse a una evaluación de la conformidad por un tercero con vistas a la introducción en el mercado o puesta en servicio de dicho producto con arreglo a la legislación mencionada.
• Un sistema de inteligencia artificial que vaya a ser utilizado como un componente que cumple una función de seguridad y cuyo fallo o defecto de funcionamiento pone en peligro la salud y la seguridad de las personas o los bienes en un producto regulado por una norma armonizada de la Unión Europea, si debe someterse a una evaluación de conformidad por parte de un tercero con vistas a la introducción en el mercado o puesta en servicio de dicho producto con arreglo a la legislación de armonización aplicable. Este supuesto será aplicable, aunque el sistema de inteligencia artificial se comercialice o se ponga en servicio independientemente del producto.
• Sistemas de inteligencia artificial mencionados en el anexo II, siempre que la respuesta del sistema sea relevante respecto a la acción o decisión a tomar, y pueda, por tanto, provocar un riesgo significativo para la salud, los derechos de las personas trabajadoras en el ámbito laboral o la seguridad o los derechos fundamentales.

3) «Sistema de inteligencia artificial de propósito general»: sistema de inteligencia artificial que, independientemente de la modalidad en la que se comercialice o se ponga en servicio, incluso como software de código abierto, está destinado por el proveedor del sistema a realizar funciones de aplicación general, como el reconocimiento de texto, imágenes y del habla; la generación de textos, audios, imágenes y/o vídeos; detección de patrones; respuesta a preguntas; traducción y otras.

4) «Modelo fundacional»: es un modelo de inteligencia artificial entrenado en una gran cantidad de datos no etiquetados a escala (generalmente mediante aprendizaje autosupervisado y/o con recopilación automática de contenido y datos a través de internet mediante programas informáticos) que da como resultado un modelo que se puede adaptar a una amplia gama de tareas posteriores.

5) «Proveedor de sistemas de Inteligencia Artificial», en adelante «Proveedor IA»: Toda persona jurídica privada, entidad del sector público en España, u organismo de otra índole, que ha desarrollado o para quien se ha desarrollado un sistema de inteligencia artificial, y que lo introduce en el mercado o lo pone en servicio bajo su propio nombre o marca comercial, ya sea de forma onerosa o gratuita. El proveedor IA será designado de las formas indicadas a continuación según la fase del proceso en la que se encuentre.

• «Proveedor IA solicitante»: proveedor IA que ha solicitado la admisión en el entorno controlado de pruebas.
• «Proveedor IA participante»: proveedor IA que ha sido admitido en el entorno controlado de pruebas.

6) «Usuario»: las personas jurídicas privadas o las administraciones públicas y entidades del sector público institucional en España bajo cuya autoridad se utilice un sistema de inteligencia artificial. El usuario será designado de las formas indicadas a continuación según la fase del proceso en la que se encuentre.

• «Usuario solicitante»: usuario del sistema de inteligencia artificial que ha solicitado su admisión en el entorno controlado de pruebas.
• «Usuario participante»: usuario del sistema de inteligencia artificial que ha sido admitido en el entorno controlado de pruebas y que participa juntamente con el proveedor IA en dicho entorno.

7) «Autoevaluación de cumplimiento»: procedimiento de verificación del cumplimiento de los requisitos, del sistema de gestión de la calidad, de la documentación técnica y del plan de seguimiento posterior a la comercialización, todos ellos detallados en este real decreto, realizados por el proveedor IA y en su caso, por el usuario, y que puede servir como referencia para la evaluación de conformidad que define la propuesta del Reglamento europeo por el que se establecen normas armonizadas en materia de inteligencia artificial. La autoevaluación de cumplimiento se circunscribe al ámbito de este entorno, sin que suponga la equiparación a la superación de evaluaciones de conformidad exigidas en otras legislaciones específicas, en particular en la propuesta del Reglamento europeo de Inteligencia Artificial.

8) «Comercialización»: todo suministro de un sistema de inteligencia artificial para su distribución o utilización en el mercado de la Unión Europea en el transcurso de una actividad comercial, ya se produzca el suministro de manera onerosa o gratuita.

Requisitos de elegibilidad para la participación en el entorno

La norma establece que la participación en el entorno controlado de pruebas está abierta a aquellos proveedores IA y usuarios residentes en España o que tengan un establecimiento permanente en España, o bien, sean parte de una agrupación de entidades, donde el representante de la agrupación o apoderado único siendo integrante de ésta, sea la entidad solicitante y cuyo domicilio o establecimiento principal se encuentre necesariamente en territorio español.

Podrán acceder a este entorno, en calidad de usuario participante, las personas jurídicas privadas y administraciones públicas y entidades del sector público institucional que hagan uso de un sistema de inteligencia artificial de alto riesgo, sistemas de propósito general, o modelos fundacionales, siempre que el correspondiente proveedor IA acceda conjuntamente al entorno con el usuario participante.

El proveedor IA solicitante podrá presentar una o varias propuestas de sistema de inteligencia artificial de alto riesgo, de propósito general, o modelo fundacional. Estos sistemas podrán ser nuevos desarrollos o sistemas ya establecidos. A la vez, dichos sistemas de inteligencia artificial deben haber alcanzado un nivel de desarrollo suficientemente avanzado como para poder comercializarse o ponerse en servicio dentro del marco temporal del entorno controlado de pruebas o a su finalización. La solicitud se rechazará si el sistema de inteligencia artificial propuesto no está suficientemente maduro.

En su caso, para aquellos sistemas de inteligencia artificial que hagan uso o tratamiento de datos personales deberán cumplir la normativa de protección de datos

Exclusiones

Los sistemas de inteligencia artificial propuestos por los proveedores IA solicitantes no podrán estar incluidos en los siguientes supuestos:

a) Sistemas de inteligencia artificial comercializados o puestos en servicio para actividades militares, de defensa o seguridad nacional, cualquiera que sea la entidad que desarrolle esas actividades.

b) Sistemas de inteligencia artificial que se sirvan de técnicas subliminales que trasciendan la consciencia de una persona con el objetivo o el efecto de alterar efectivamente su comportamiento de un modo que provoque o pueda provocar, con probabilidad razonable, perjuicios físicos o psicológicos a esa persona o a otra.

c) Sistemas de inteligencia artificial que aprovechen alguna de las vulnerabilidades de un grupo específico de personas debido a su edad o discapacidad o una situación social o económica específica con el objetivo o el efecto de alterar efectivamente el comportamiento de una persona de ese grupo de un modo que provoque o pueda provocar, con probabilidad razonable, perjuicios físicos o psicológicos a esa persona o a otra.

d) Sistemas de inteligencia artificial que tengan el fin de evaluar o clasificar personas físicas durante un período determinado de tiempo atendiendo a su conducta social o a características personales o de su personalidad conocidas o predichas, de forma que la clasificación social resultante provoque una o varias de las situaciones siguientes:

• Un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos en contextos sociales que no guarden relación con los contextos donde se generaron o recabaron los datos originalmente.
• Un trato perjudicial o desfavorable hacia determinadas personas físicas o colectivos que sea injustificado o desproporcionado con respecto a su comportamiento social o la gravedad de este.

e) Sistemas de identificación biométrica remota «en tiempo real» para su uso en espacios de acceso público con fines de aplicación de la ley, salvo y en la medida en que dicho uso sea estrictamente necesario para alcanzar uno o varios de los objetivos siguientes:

• La búsqueda selectiva de posibles víctimas concretas de un delito, incluido personas menores desaparecidos.
• La prevención de una amenaza específica, importante e inminente para la vida o la seguridad física de las personas físicas, para infraestructuras críticas, o un atentado terrorista.
• La detención, la localización, la identificación o el enjuiciamiento de la persona que ha cometido o se sospecha que ha cometido alguno de los delitos mencionados en el artículo 2, apartado 2, de la Decisión marco 584/2002/JAI del Consejo, para el que la normativa en vigor en el Estado miembro implicado imponga una pena o una medida de seguridad privativas de libertad cuya duración máxima sea al menos tres años, según determine el Derecho de dicho Estado miembro.

Informe y procedimiento

Previa a la finalización, tanto de los proveedores IA participantes como de los usuarios participantes, entregarán un informe a la Subdirección General de Inteligencia Artificial y Tecnologías Habilitadoras Digitales.

El contenido del informe anterior se indicará en las guías que ofrezca el órgano competente. Las entidades que hayan completado las fases del entorno controlado de pruebas recibirán un documento acreditativo de su participación en el mismo junto con un informe de valoración de los resultados obtenidos.

El órgano competente podrá abrir nuevas convocatorias en el futuro.

Cuando el órgano competente considere que el entorno controlado de pruebas ha cumplido con el objeto indicado en el presente real decreto podrá determinar la finalización de este y emitirá un comunicado público a tal efecto en el portal web del órgano competente.

El proveedor IA y, en su caso, el usuario, podrán solicitar, mediante comunicación al órgano competente a través del canal especificado en el artículo 20.3 del presente real decreto, la retirada voluntaria del entorno controlado de pruebas por motivos justificados.

Una vez instruido el procedimiento, el órgano competente resolverá la solicitud de salida voluntaria de forma motivada en el plazo máximo de quince días hábiles. Esta resolución pone fin a la vía administrativa y el sentido del silencio administrativo será positivo.

En el caso de que el proveedor IA participante o, en su caso, el usuario participante se retire del entorno controlado de pruebas, deberá mantener el deber de confidencialidad en los términos previstos en la resolución de admisión.

Asimismo, la salida tanto de un proveedor IA participante como de un usuario participante no generará en ningún caso derecho de indemnización ni compensación alguna por parte del órgano competente.

El órgano competente, si así lo considera conveniente para el resultado del entorno, podrá cubrir la posición liberada por la retirada voluntaria con la siguiente entidad que hubiera solicitado la participación de acuerdo con lo dispuesto en la convocatoria.

Podrá declararse la finalización anticipada de las pruebas en el entorno de manera individualizada, dando por finalizada la experiencia sin éxito para ese proveedor IA participante o, en su caso, usuario participante, mediante resolución motivada del órgano competente en base a la concurrencia de alguna de las siguientes circunstancias:

a) Se ha producido un incumplimiento del régimen jurídico en la convocatoria o en la resolución de admisión.

b) Se ha cesado en el cumplimiento de alguno de los requisitos iniciales para la elegibilidad para la participación en el entorno controlado de pruebas.

c) Se ha producido un incumplimiento del deber de facilitar información requerida en el marco de seguimiento establecido por el órgano competente.

d) Se han producido incidentes graves o errores de funcionamiento en los sistemas de inteligencia artificial.

e) Se ha identificado un riesgo no previsto en la memoria técnica.

f) La entidad no aporta los recursos necesarios para implantación de los requerimientos acordados en el plan de implantación.

g) La entidad no cumple con las acciones necesarias para superar la declaración de cumplimiento.

h) Cualquier otra circunstancia que se previera en la convocatoria.

Una vez se ha identificado alguna de las circunstancias anteriores, el órgano competente, previa audiencia con los participantes resolverá de forma motivada en el plazo máximo de 15 días hábiles. Esta resolución pone fin a la vía administrativa.

Adicionalmente a los casos indicados, también se declarará la finalización anticipada de la experiencia en el caso de que el proveedor IA no realizase las actuaciones que le permitan dar cumplimiento a los requisitos, descritos en el artículo 11 del presente real decreto, en el plazo establecido en la convocatoria, dejando de formar parte del entorno controlado de pruebas previo el oportuno procedimiento.

En el supuesto de que el proveedor IA participante fuera obligado a abandonar la experiencia también lo tendría que hacer, en el caso de que participase, el usuario del sistema de inteligencia artificial.

La finalización anticipada del entorno controlado de pruebas no dará lugar a indemnización alguna por parte del órgano competente.

El órgano competente, si así lo considera conveniente para el resultado del entorno, podrá cubrir mediante resolución la posición liberada por la finalización anticipada de las pruebas con la siguiente entidad que hubiera solicitado la participación de acuerdo con lo dispuesto en la convocatoria.