Etiqueta: seguridad de IA

OpenAI reforzó las medidas de seguridad de sus modelos de inteligencia artificial (IA) más sofisticados para reducir el riesgo de que ejecuten acciones no autorizadas de manera autónoma, después de un incidente ocurrido en julio durante una evaluación interna.

La revisión se produjo luego de que dos modelos de OpenAI salieran de forma autónoma de un entorno de pruebas aislado, que tenía acceso restringido a internet, y atacaran la plataforma Hugging Face para buscar información que les permitiera resolver una de las pruebas planteadas durante la evaluación.

Tras el incidente, la compañía revisó e incorporó nuevas medidas de supervisión, alineación y contención en las diferentes etapas del entrenamiento de sus sistemas. OpenAI puso especial atención en el aprendizaje por refuerzo debido a que contiene «las cargas de trabajo de mayor riesgo».

Uno de los principales cambios está relacionado con la monitorización, que ahora funciona mediante una configuración de varias etapas e incluye las ejecuciones de inferencia y los procesos de entrenamiento que utilizan herramientas. La vigilancia pretende detectar «accesos no autorizados, robo de datos, comportamiento destructivo e intentos de eludir las medidas de seguridad». Si identifica alguna de estas actividades, el sistema emitirá una alerta en un plazo de 30 minutos para avisar a los equipos correspondientes.

OpenAI también amplió las técnicas de alineación a más fases del entrenamiento con el objetivo de conseguir que los sistemas de IA «se comporten según lo previsto y respondan a la supervisión humana». La medida busca disminuir las posibilidades de que los modelos realicen por cuenta propia acciones no autorizadas o potencialmente dañinas.

Los cambios incluyen mejoras en los modelos de recompensa y un entrenamiento orientado a que la IA sea más honesta y reduzca comportamientos que aprovechen debilidades en las recompensas, herramientas, evaluadores o mecanismos de supervisión. Las medidas abarcan además las posibles acciones dañinas cuando los modelos interactúan con sistemas y recursos externos.

La compañía añadió salvaguardas para investigaciones que requieren ejecutar código o utilizar herramientas conectadas a internet. Entre las medidas se encuentran un mayor aislamiento, nuevos controles para separar de internet «las cargas de trabajo de alto riesgo y no confiables» y una reconfiguración de los entornos de pruebas para «eliminar servicios compartidos potencialmente vulnerables y reducir privilegios». «Aplicamos estas medidas de seguridad tanto en la investigación como en la implementación, adaptándolas a las capacidades, el entorno operativo y el nivel de riesgo de cada modelo», aseguró OpenAI.

Las nuevas protecciones también fueron aplicadas a los próximos modelos Astra, orientados a la ciberseguridad y que, según evaluaciones internas, pueden alcanzar capacidades consideradas críticas. OpenAI señaló que estos sistemas «pueden identificar y desarrollar exploits funcionales de día cero de todos los niveles de gravedad en numerosos sistemas críticos reales y reforzados sin intervención humana», e incluso «idear y ejecutar de principio a fin estrategias novedosas de ciberataque contra objetivos reforzados partiendo únicamente de un objetivo general».