Nvidia lanzó Open Agent Safety Platform, una nueva plataforma de seguridad diseñada para contener y monitorear agentes de inteligencia artificial (IA), desde su etapa de pruebas hasta su implementación, con controles sobre el ‘software’, ‘hardware’, sistemas de computación y robótica en los que operan.
La herramienta surge después de recientes incidentes de seguridad vinculados al entrenamiento de agentes de IA. OpenAI, Anthropic, Meta y Google enfrentaron distintos problemas de desalineación de sus modelos y agentes, que lograron acceder a internet fuera de sus entornos aislados, hackear páginas web o ingresar sin autorización a empresas.
Según Nvidia, estos incidentes tienen un elemento en común: los agentes consiguieron evadir los controles de seguridad en la capa de asignación para completar las tareas encomendadas. Frente a este riesgo, la compañía busca proporcionar a las organizaciones herramientas abiertas y personalizables para controlar agentes que pueden permanecer funcionando durante largos períodos.
Open Agent Safety Platform permitirá gestionar y controlar el ‘software’ utilizado por los agentes, así como las capas de ‘hardware’ y computación que permiten su funcionamiento y los sistemas robóticos encargados de ejecutar tareas en el mundo físico. El director ejecutivo de Nvidia, Jensen Huang, afirmó que estas herramientas son necesarias porque «el extraordinario potencial de la IA para la sociedad» solo podrá materializarse si se resuelve «el problema de la seguridad de la IA».
La plataforma estará basada en OpenShell, el ‘software’ de código abierto de Nvidia, y funcionará en la CPU Vera AI de la compañía. Los usuarios podrán determinar específicamente a qué información tendrá acceso un agente y, mientras este desarrolla una tarea, el sistema comprobará que respete las restricciones establecidas.
La compañía incorporó además Nvidia Sentry, una tecnología que funciona mediante un chip independiente. Se trata de un sistema de vigilancia fuera de banda ejecutado en las DPU Nvidia BlueField 4, que supervisará continuamente el comportamiento de los agentes y podrá paralizar sus actividades cuando sea necesario.
«Sentry proporciona seguridad integrada en el chip, lo que significa que si un agente de IA intenta salirse de su límite de software, Sentry lo pone en cuarentena y lo detiene en milisegundos», aseguró Nvidia sobre las capacidades de la tecnología.
Sentry también se apoya en el ‘software’ Nvidia Doca, encargado de ofrecer capacidades programables para inspeccionar solicitudes y respuestas de los agentes, proporcionar telemetría certificada, verificar su identidad y aplicar políticas de acceso granulares y de confianza cero sobre datos, herramientas, interfaces de programación de aplicaciones y servicios.