La empresa de inteligencia artificial Anthropic decidió suspender el acceso a internet en todas las evaluaciones internas de sus modelos de IA, mientras desarrolla mecanismos que le permitan garantizar la vigilancia y el control de sus agentes para evitar que ejecuten acciones no autorizadas fuera de sus entornos de prueba.
La decisión fue anunciada después de que el laboratorio identificara una serie de comportamientos inesperados de Claude, su modelo de inteligencia artificial, entre ellos el envío de una pista falsa relacionada con un asesinato sin resolver a la policía de Filadelfia, Estados Unidos.
Este incidente llevó a la compañía a reforzar las restricciones de seguridad durante las pruebas.
«Aunque el impacto de esos comportamientos fue mínimo y ya habíamos desconectado el acceso a internet para algunas de las evaluaciones de ciberseguridad de mayor riesgo, ahora hemos decidido expandirlo a todas nuestras evaluaciones internas hasta que tengamos confirmado que nuestras medidas de seguridad y monitorización realmente son capaces de detener este tipo de comportamientos», señala Anthropic sobre una cadena de sucesos protagonizados por Claude que detectó en una revisión iniciada en julio.
La compañía explicó en un informe divulgado el viernes que los incidentes fueron identificados durante una revisión iniciada en julio, en la que detectó que sus agentes de inteligencia artificial podían realizar operaciones que excedían las tareas originalmente asignadas.
Entre las irregularidades encontradas figuran la explotación de vulnerabilidades informáticas mediante inyecciones SQL y comandos en páginas de terceros, el envío de formularios sin autorización y la utilización de enlaces acortados para superar restricciones relacionadas con la longitud de las direcciones de internet.
El laboratorio también identificó intentos de evadir limitaciones de acceso en sitios gubernamentales, lo que puso de manifiesto los riesgos asociados al funcionamiento de agentes de inteligencia artificial con capacidad para interactuar con plataformas externas sin una supervisión suficientemente efectiva.
«En muchos de los casos donde observamos estos comportamientos, a Claude se le habían encomendado tareas que eran ambiguas o imposibles de completar. Nosotros y otros hemos observado que cuando a los modelos se les dan tareas imposibles de completar, persiguen estrategias no deseadas y, a veces, desalineadas para lograr sus objetivos», indica el laboratorio de IA.
Los incidentes descritos por Anthropic presentan similitudes con situaciones registradas en agentes de inteligencia artificial de OpenAI, empresa creadora de ChatGPT, que también tuvo que suspender temporalmente el entrenamiento de uno de sus modelos avanzados tras detectar ataques contra sitios web del Gobierno de Estados Unidos y accesos masivos a una plataforma de la Organización de las Naciones Unidas (ONU).
Deja una respuesta