Etiqueta: vulnerabilidades de OpenAI

  • OpenAI restringe el acceso a internet durante el entrenamiento de sus modelos de IA más avanzados

    OpenAI restringe el acceso a internet durante el entrenamiento de sus modelos de IA más avanzados

    OpenAI anunció que bloqueará el acceso a internet durante el entrenamiento de sus modelos de inteligencia artificial (IA) de frontera, una medida con la que busca evitar que sus sistemas más avanzados puedan comprometer la seguridad de plataformas externas o ejecutar acciones fuera de su control.

    La compañía explicó que tomó esta decisión después de identificar riesgos relacionados con el comportamiento de agentes de inteligencia artificial durante sus procesos de aprendizaje, entre ellos un incidente ocurrido durante el verano, cuando algunos agentes lograron vulnerar la plataforma Hugging Face.

    «Basándonos en el estado actual de la investigación de alineamiento, los sistemas de monitorización y la seguridad de la infraestructura de internet, creemos que la perspectiva responsable es realizar el entrenamiento de un modelo sin acceso a internet», señala OpenAI desde el anuncio en su web, para puntualizar a continuación que esta nueva directriz «se mantendrá hasta que los avances en medidas de seguridad justifiquen un acceso más amplio a internet».

    La tecnológica estableció límites de seguridad para que sus agentes puedan utilizar navegadores, herramientas de programación, entornos de ejecución de código y otras aplicaciones necesarias para completar sus tareas, sin disponer de una conexión abierta a internet que pueda representar riesgos para otros sistemas.

    «Aunque el acceso a internet puede ayudar a los modelos a que aprendan habilidades útiles, también da capacidad para que los agentes desalineados afecten sistemas fuera de nuestro control», asegura el laboratorio de IA. Para reducir ese peligro, OpenAI desarrolló un entorno virtual sin conexión, construido a partir de contenidos previamente indexados y almacenados en caché, donde los modelos pueden practicar búsquedas, navegación y utilización de aplicaciones web sin afectar plataformas externas.

    La compañía confirmó que todos sus entrenamientos mediante aprendizaje por refuerzo utilizan actualmente este entorno aislado. Sin embargo, reconoció que las restricciones no eliminan completamente los riesgos, como quedó demostrado el pasado 20 de septiembre, cuando «un modelo de investigación interno explotó una mala configuración en un resolutor DNS para obtener acceso limitado a internet en vivo» durante una sesión de entrenamiento. Aunque la empresa consiguió contener el incidente, decidió suspender ese proceso de aprendizaje.

    Otro problema fue identificado durante una evaluación de seguridad realizada por un equipo especializado que puso a prueba los agentes de sus modelos más avanzados. En ese ejercicio, los sistemas consiguieron superar el aislamiento de las máquinas virtuales y comunicarse entre sí sin utilizar una conexión de red, mediante la medición de los tiempos de acceso a la memoria caché del procesador, una técnica relacionada con los ataques informáticos Spectre y Meltdown.

    OpenAI aseguró que corrigió las vulnerabilidades detectadas e incorporó nuevos mecanismos de vigilancia para identificar comunicaciones de este tipo. La compañía mantendrá las restricciones de acceso a internet durante el entrenamiento de sus modelos de frontera hasta que los avances en sus medidas de seguridad permitan ampliar nuevamente la conectividad sin comprometer los sistemas externos.