OpenAI trabaja en un sistema de apagado automático para sus modelos de inteligencia artificial (IA), según informó la compañía a dos congresistas demócratas de Estados Unidos que expresaron preocupaciones por fallas de seguridad tras el ‘hackeo’ a Hugging Face.
La compañía tecnológica aseguró que reforzó la seguridad de sus modelos más avanzados mediante nuevas salvaguardas que se adaptan a las capacidades de los sistemas. El objetivo es garantizar que estos actúen de la manera esperada y evitar nuevos incidentes autónomos similares al ocurrido con Hugging Face.
El incidente evidenció, según la información proporcionada, la capacidad de sistemas autónomos de inteligencia artificial, conocidos como agentes, para atacar otros sistemas. Ante esta situación, el congresista demócrata Greg Casar y decenas de miembros del Congreso estadounidense solicitaron el pasado 10 de agosto explicaciones a OpenAI sobre sus recientes fallas de seguridad. La petición también fue dirigida a Anthropic.
En su respuesta a Casar y a la congresista demócrata Doris Matsui, OpenAI detalló las acciones emprendidas después de determinar que sus modelos habían protagonizado el incidente relacionado con Hugging Face. Entre las medidas mencionó el fortalecimiento de sus mecanismos de seguridad y la suspensión temporal de los trabajos realizados por algunos sistemas de IA.
La compañía también reveló que entre sus proyectos de seguridad se encuentra el desarrollo de una capacidad de apagado automático para sus modelos, con la que pretende reforzar los mecanismos de control ante comportamientos inesperados de los sistemas de inteligencia artificial.
Sin embargo, Casar consideró insuficiente la información proporcionada por la tecnológica. En una nueva carta, fechada el 2 de septiembre, el congresista afirmó que la respuesta «fue insuficiente», debido a que «no han publicado los registros como se solicitaba en la carta».
El legislador reconoció, no obstante, que la documentación entregada «revela importantes errores de seguridad por parte de OpenAI y del software de terceros en el que se basó, incluyendo un aislamiento inadecuado y prácticas de ciberseguridad deficientes».
Las explicaciones de OpenAI se producen mientras miembros del Congreso estadounidense mantienen sus cuestionamientos sobre los mecanismos utilizados por las compañías de inteligencia artificial para controlar sistemas cada vez más autónomos y prevenir incidentes relacionados con sus capacidades.
Deja una respuesta