Toda la inteligencia artificial generativa que usamos, desde ChatGPT a los sistemas de generación de imágenes, parte de modelos fundacionales. Se trata de sistemas de IA entrenados con una enorme cantidad de datos de Internet, como texto, imágenes o vídeos. En general, beben de información sin estructurar.
Estos modelos fundacionales tienen amplias capacidades. En lugar de ser sistemas diseñados para una sola tarea, se adaptan a una amplia variedad de escenarios diferentes. Son capaces de resumir documentos, generar textos, responder preguntas, escribir código, resolver problemas de matemáticas, o sintetizar audio. Eso sí, no hay que confundir estos sistemas con las aplicaciones que se basan en ellos. Por ejemplo, ChatGPT es la aplicación comercial basada en el modelo fundacional GPT (la versión 3.5 o 4).
Un paper publicado por el Stanford Institute for Human-Centered Artificial Intelligence (HAI), de la Universidad de Stanford, popularizó el término ‘modelo fundacional’ en 2021. Su definición era la siguiente: “Es cualquier modelo que se entrena con una amplia variedad de datos, generalmente empleando auto-supervisión a escala, y que puede adaptarse a múltiples tareas secuenciales”.
Hasta hace poco, las herramientas de inteligencia artificial se dedicaban a una tarea específica. Una se centraba en texto predictivo, otra podía hacer reconocimiento de imágenes y otra, por ejemplo, traducción. Con los modelos fundacionales no ocurre esto. Cada uno de ellos sirve para una multitud de tareas.
La base de otros sistemas de IA
A nivel tecnológico, estos modelos son redes neuronales. Es decir, están basadas en deep learning o aprendizaje profundo. Su aparición ha supuesto una cierta transformación para los especialistas en inteligencia artificial. Hasta hace poco se desarrollaban sistemas casi desde cero para abordar problemas nuevos. Sin embargo, los modelos fundacionales se pueden utilizar como base para crear sistemas nuevos más rápidamente.
Por eso estos modelos son claves, porque pueden dar lugar a todo tipo de aplicaciones. Podemos decir que son el motor, la parte más esencial, de una plataforma de IA generativa. Esto significa que actúan como impulsores de la innovación, pues permiten a las empresas construir sobre ellos. Pero, como apunta el Ada Lovelace Institute, cualquier error o problema que tenga el sistema se traslada a todas las aplicaciones que se desarrollen sobre el mismo.
Este aspecto —relacionado con su propio nombre “fundacional”— ha atraído la atención de los reguladores. Legislar en un ámbito tan nuevo no será fácil, pero será más complicado poner barreras a la infinidad de aplicaciones comerciales de IA generativa que ya están naciendo que poner coto a los sistemas en que se basan.
Sus aplicaciones
Las aplicaciones de los modelos fundacionales no nos resultan ajenas. Últimamente se han popularizado con la aparición de ChatGPT. La tecnología permite múltiples casos de uso. Puede ser el motor de un chatbot que responde a preguntas del usuario, puede también devolver información ante una búsqueda, generar todo tipo de texto, traducirlo, crear imágenes a partir de unas instrucciones o componer música.
Las aplicaciones más populares hasta la fecha consisten en la generación de texto y de imágenes. Pero existen muchos otros usos. Identificar objetos físicos, generar código en diferentes lenguajes de programación, mantener una conversación, generar ideas, hacer predicciones, descubrir errores en un texto o en un código solo son algunas de las tareas que pueden llevar a cabo este tipo de sistemas.
Ejemplos de modelos fundacionales de IA
El coste de entrenar un software de este tipo puede alcanzar los cientos de millones de dólares. De ahí que solo unas pocas compañías tengan los recursos y el estímulo para hacerlo. Así que no resulta extraño que Google lanzara uno de los primeros modelos fundacionales. Se trataba de BERT (Bidirectional Encoder Representations from Transformers), que llegó en 2018 después de haberse entrenado con 340 millones de parámetros.
Por esas fechas también OpenAI desarrolló su primer modelo fundacional, GPT (Generative Pre-trained Transformer), cuya versión 3 (lanzada en 2020) se había entrenado con 175.000 millones de parámetros. Una muestra del avance vertiginoso que vive esta tecnología.
Otros ejemplos son Claude 2, de la startup Anthropic, así como Stable Difussion, creado por Stability AI, para la generación de imágenes. Este último es rival de Dall-E, otro modelo fundacional de OpenAI. También compiten dentro de esta categoría elitista los Amazon Titan, que consisten en modelos de lenguaje, y Microsoft Florence, destinado a servicios de visión artificial.
Teniendo en cuenta las capacidades de estos modelos no sorprende que la regulación de inteligencia artificial de la UE, la primera que legisla específicamente sobre esta tecnología, los haya incluido expresamente en la norma. El objetivo: acudir a la raíz de la IA, pues a partir de ahí se desarrollan sus aplicaciones comerciales.
El marco de vigilancia de la regulación europea a los modelos fundacionales
Uno de los puntos de fricción a la hora de negociar la regulación europea sobre IA fueron los modelos fundacionales. Las conversaciones llegaron a bloquearse por la disparidad de posturas. Había partidarios de una regulación estricta de estos modelos, mientras que otros abogaban por excluirlos de la norma.
Al final prosperaron los partidarios de incluir estos modelos expresamente en el acuerdo provisional alcanzado. La normativa europea los define como grandes sistemas capaces de realizar de forma competente una amplia variedad de tareas distintivas, como generar vídeo, texto, imágenes, conversar en lenguaje natural, computar o generar código de programación.
La norma regula en base a una anticipación de los posibles riesgos. No hay que olvidar que los modelos fundacionales están entrenados con datos de Internet. Esto tiene implicaciones, pues los sistemas pueden replicar sesgos y estereotipos que a día de hoy se encuentran por doquier en Internet.
Con el fin de evitar la difusión de estas deficiencias en todas las aplicaciones que se construyan sobre estos modelos, el acuerdo provisional legislativo prevé imponer obligaciones específicas de transparencia. Antes de lanzar al mercado un sistema de este tipo será necesario cumplir con este requisito. El proceso se endurecerá aún más cuando se trate de modelos fundacionales “de alto impacto”. Una categoría que designa a aquellos sistemas que en su despliegue pueden causar daños en campos como la salud, la seguridad de las personas, los derechos fundamentales, el medio ambiente, la democracia o el imperio de la ley.
La idea detrás de la normativa europea es el estímulo de un desarrollo responsable de la IA, alineado con los valores sociales. Así, la UE quiere evitar los posibles efectos adversos de la tecnología. La obligación de transparencia impulsa un desarrollo bajo el escrutinio público. De esta forma, se pretende incentivar a las empresas para integrar principios éticos y de responsabilidad en la inteligencia artificial.
Imagen de portada: Mojahid Mottakin
