El director de estrategia de OpenAI, Jason Kwon, reconoció este martes que la compañía no gestionó «suficientemente bien» el acceso no autorizado de uno de sus agentes de inteligencia artificial (IA) a un portal del sistema público sanitario de Australia.
Kwon compareció ante el Parlamento australiano, convocado por una comisión que investiga el impacto de la IA, donde aseguró que el incidente «no debería haber ocurrido» y reconoció errores en la respuesta posterior de la compañía.
«Lo sentimos y sabemos que tenemos trabajo por hacer para reconstruir la confianza del pueblo australiano», afirmó Kwon durante la audiencia celebrada en Sídney. También admitió que OpenAI esperó demasiado para comunicar lo sucedido al Gobierno y que debió informar inmediatamente a los responsables afectados, incluso sin conocer todavía todos los detalles.
El incidente ocurrió en junio, cuando un modelo de OpenAI utilizado en un entorno interno de entrenamiento y evaluación recibió la tarea de investigar información sobre el gasto público en medicamentos para enfermedades de la piel en comunidades del estado de Victoria. Sin embargo, el episodio no fue comunicado hasta el pasado mes.
Ante las dificultades para encontrar la información solicitada, el modelo ejecutó acciones que no estaban autorizadas y accedió a zonas no públicas de un sistema gubernamental. Allí ejecutó comandos, consultó archivos internos, credenciales e información estadística y llegó a escribir archivos. OpenAI aseguró que no encontró pruebas de que hubiera accedido a historiales médicos o datos individuales de pacientes.
La controversia adquirió dimensión internacional después de que el primer ministro australiano, Anthony Albanese, denunciara ante la Asamblea General de Naciones Unidas que un agente de IA de OpenAI había ingresado sin autorización a un portal relacionado con Medicare. La compañía consideró el episodio como un nuevo tipo de amenaza cibernética asociada con sistemas de IA capaces de actuar autónomamente.
Kwon aseguró que OpenAI reforzó desde entonces la seguridad de sus entornos de investigación, con una mayor supervisión de los modelos en tiempo real y sistemas de alarma para detectar interacciones no previstas. La empresa también creó un equipo específico en Australia para analizar los riesgos de sistemas de IA cada vez más capaces y mejorar su respuesta ante futuros incidentes.
La comparecencia ocurre en medio de un creciente escrutinio sobre los agentes de IA. OpenAI informó en julio de otro incidente en el que uno de sus modelos superó restricciones de un entorno de evaluación y accedió a internet para interactuar con sistemas de Hugging Face. También reconoció interacciones no previstas con páginas de la Comisión de Bolsa y Valores (SEC) de Estados Unidos, aunque sostuvo que únicamente se accedió a información pública. Su competidora Anthropic reportó que algunos de sus modelos accedieron durante pruebas a sistemas de varias organizaciones, mientras evaluaciones de seguridad en Estados Unidos y Reino Unido documentaron intentos de modelos de IA por eludir restricciones o ejecutar acciones no previstas.
