Que la inteligencia artificial se salga de control es una de las mayores preocupaciones de las grandes compañías que desarrollan y ofrecen estos sistemas. Prueba de ello son las medidas de contención que empresas como Anthropic han tomado con el objetivo de evitar que sus modelos más potentes sean capaces de realizar ciberataques de forma autónoma. O incluso la cancelación del lanzamiento de GPT-6.1 Astra, el modelo más potente de OpenAI hasta la fecha. Estas medidas, sin embargo, no siempre son suficientes, y la IA en muchos casos es capaz de encontrar puertas traseras para realizar ciberataques. Ahora, NVIDIA ha propuesto una solución: la Open Safety Platform.
Se trata de una plataforma de código abierto diseñada para controlar a los agentes de IA en todo momento. Es decir, desde sus pruebas hasta su implementación final. El objetivo de Nvidia es que las empresas puedan establecer límites sobre lo que un agente puede hacer y, sobre todo, que esos límites no dependan exclusivamente de las instrucciones que recibe el propio modelo.
La Open Safety Platform integra dos componentes clave. Uno de ellos es el software OpenShell. Este es capaz de ofrecer un límite de tiempo de ejecución seguro para que los modelos trabajen con unos permisos concretos. Por ejemplo, si una empresa quiere que la IA consulte determinados archivos, puede permitirle acceder a ellos sin necesidad de darle permiso para borrar documentos, modificar sistemas críticos o conectarse a determinadas páginas webs.
Además, OpenSell es capaz de registrar las acciones que realiza el agente de IA y aplicar las políticas que la compañía encargada del desarrollo de ese modelo ha establecido previamente. La clave es que este tipo de restricciones se encuentran fuera del propio modelo, por lo que la IA no puede decidir cuáles son sus límites.
Sentry, la otra pieza clave de la Open Safety Platform
El segundo componente de la Open Safety Platform es Sentry, una especie de vigilante externo que es capaz de supervisar lo que hace el agente y actuar en el caso de que este consiga burlar los límites establecidos. A diferencia de OpenShell, que funciona como una barrera de software, Sentry se ejecuta en un hardware independiente mediante DPU NVIDIA BlueField-4. Esto establece una medida de protección adicional y una mayor precisión a la hora de detectar si la IA quiere salirse de control.
Según NVIDIA, Sentry de la Open Safety Platform puede detectar que una IA están intentando realizar una acción fuera de sus permisos. Después, puede ponerla en cuarentena para evitarlo en cuestión de milisegundos. La compañía también destaca que Sentry, del mismo modo que OpenShell, funciona de forma independiente al agente. Por tanto, la propia IA no puede desactivarlo simplemente porque ha descubierto cómo hacerlo, como sí sucede con otros sistemas de contención.
Nvidia llega en un momento clave
La Open Safety Platform, reiteramos, después de los últimos acontecimientos problemáticos que los agentes de IA más potentes de empresas como OpenAI, Anthropic, Meta y Google. Este tipo de modelos son capaces de encontrar vulnerabilidades y crear código para explotarlas.
De hecho, la propia OpenAI confirmó que durante el incidente de Hugging Face, algunos de sus modelos consiguieron comunicarse mediante canales no autorizados. Esto hice que pudiesen explotar vulnerabilidades de la infraestructura compartida y obtener acceso a internet pese a las restricciones establecidas por la compañía.
La solución de NVIDIA con la Open Safety Platform, por tanto, consiste en cambiar este enfoque. En lugar de intentar conseguir que el modelo no sea capaz de realizar determinadas acciones, se establece una barrera externa que impide que pueda hacerlo aunque lo intente.
Esto podría ser especialmente importante a medida que los agentes tengan acceso a más herramientas y sistemas. Una IA encargada de gestionar servidores, escribir código o trabajar con información empresarial necesita tener ciertos permisos para actuar. Pero también necesita límites muy claros sobre hasta dónde puede llegar.
Las compañías de IA hablan sobre esta iniciativa
Eso sí, la Open Safety Platform no es una solución mágica. Este sistema puede impedir que un agente acceda a determinados recursos o se salga de un entorno controlado, pero no evita que el modelo cometa errores, proporcione información falsa o intente engañar a sus supervisores. Además, unas restricciones demasiadas estrictas podría impedir que la IA complete tareas legítimas, mientras que unas demasiadas flojas podrían conllevar agujeros de seguridad.
No obstante, muchas compañías ya han agradecido el esfuerzo por parte de NVIDIA por ayudar al desarrollo de la IA y creen que esta iniciativa es un paso importante para evitar que los agentes puedan realizar ciberataques o se salgan de control. “Claude Managed Agents ofrece a las empresas una visión clara de lo que está haciendo cada agente”. Además, “la plataforma de NVIDIA añade otra capa de gobernanza y control a través de hardware y software”. Asi lo ha estacado Paul Smith, director comercial de Anthropic.
Por su parte, el CEO de Sacale AI, ha declarado que su compañía ya está utilizando el diseño de referencia de la plataforma de seguridad de agentes abiertos de NVIDIA. Lo hace “para construir sistemas de IA de agente confiables para clientes empresariales y gubernamentales que ejecutan aplicaciones de misión crítica, con aislamiento, aplicación de políticas y capacidad de auditoría incorporados de principio a fin”.
Si te ha gustado este artículo y quieres recibir más contenido sobre innovación y tecnología directamente en tu correo, suscríbete a nuestra newsletter y mantente siempre actualizado. No somos de los que llenan tu bandeja, solo compartimos los lunes.
