Redacción HCloud

Etiqueta: OpenAI

  • OpenAI cede ante el rechazo electoral y fija pacto comunitario para sus centros de datos

    OpenAI cede ante el rechazo electoral y fija pacto comunitario para sus centros de datos

    OpenAI, la empresa creadora de ChatGPT, anunció este jueves una serie de compromisos para reducir el impacto de sus centros de datos en las comunidades de Estados Unidos, luego de que los votantes rechazaran mayoritariamente la expansión de estas instalaciones durante las elecciones de mitad de mandato, debido a preocupaciones por el consumo de agua, electricidad y el aumento de las tarifas energéticas.

    La compañía presentó un documento denominado ‘Pacto Nacional con la Comunidad’, acompañado de una propuesta de políticas dirigida a los reguladores, con el objetivo de establecer nuevas condiciones para la construcción y operación de la infraestructura necesaria para el desarrollo de inteligencia artificial (IA).

    El anuncio ocurre después de que los estadounidenses votaran el martes sobre 41 iniciativas locales relacionadas con centros de datos en 10 estados. Según un análisis de Ballotpedia y datos adicionales recopilados por CNBC, en 40 de esas votaciones los ciudadanos respaldaron restricciones o rechazaron medidas favorables a la expansión de estas instalaciones, lo que evidenció la oposición a su crecimiento.

    Como parte de los nuevos compromisos, OpenAI aseguró que asumirá la totalidad de los costos de electricidad y de la infraestructura de red necesaria para abastecer los centros de datos que sean de su propiedad y estén bajo su operación. La medida busca evitar que los gastos asociados a estas instalaciones se trasladen a las facturas eléctricas de las familias estadounidenses.

    La tecnológica también aceptó reducir voluntariamente su consumo eléctrico durante los períodos de mayor demanda, una disposición destinada a disminuir la presión sobre las redes de suministro energético cuando aumenta la necesidad de electricidad en las comunidades.

    Además, OpenAI se comprometió a consultar a los habitantes de las localidades antes de iniciar la construcción de nuevos centros de datos y publicar periódicamente información sobre el consumo de agua y energía de sus instalaciones. La empresa también realizará estudios independientes para evaluar los niveles de ruido generados por estas infraestructuras.

    Otro de los cambios anunciados consiste en limitar los acuerdos de confidencialidad con funcionarios locales, conocidos como NDA, que anteriormente provocaron críticas por impedir que las comunidades conocieran detalles de los proyectos. Con esta medida, la compañía busca aumentar la transparencia durante los procesos de planificación y desarrollo de sus instalaciones.

    «El pacto establece qué pueden esperar las comunidades de OpenAI en los futuros centros que poseamos y operemos. Por su parte, el marco de políticas propone directrices para garantizar que el desarrollo de estos centros ofrezca a las comunidades una voz significativa, proteja a las familias de nuevos costes y permita que los beneficios económicos de la IA se distribuyan de forma generalizada», indicó OpenAI. Los compromisos representan un cambio en la relación que la tecnológica busca establecer con las comunidades estadounidenses, en medio de la creciente oposición a la expansión de la infraestructura de inteligencia artificial.

  • OpenAI lanza un programa para que sus centros de datos ayuden a aliviar la red eléctrica y liberen energía para hogares

    OpenAI lanza un programa para que sus centros de datos ayuden a aliviar la red eléctrica y liberen energía para hogares

    OpenAI anunció este martes 3 de noviembre un programa para reducir el consumo de electricidad de sus futuros centros de datos en Estados Unidos durante períodos de alta demanda energética, con el objetivo de liberar suministro para los hogares y evitar sobrecargas en la red eléctrica.

    La compañía dirigida por Sam Altman explicó que la iniciativa, denominada Protectores de la Red Eléctrica, permitirá ajustar la demanda de energía de sus instalaciones «cuando la red esté sobrecargada», especialmente durante emergencias y fenómenos meteorológicos extremos, como las olas de calor y frío que incrementan el consumo eléctrico de las familias.

    El anuncio ocurre en medio de las preocupaciones por el elevado consumo energético de los centros de datos, cuya capacidad instalada en Estados Unidos podría superar los 100 gigavatios para 2030. Esta situación generó oposición a nuevos proyectos por sus posibles efectos sobre el suministro eléctrico, los costos para los consumidores y los recursos de las comunidades.

    OpenAI indicó que trabaja con compañías eléctricas, organismos reguladores y legisladores estadounidenses para desarrollar mecanismos que permitan utilizar la capacidad energética de sus instalaciones como un recurso «al que las compañías de servicios públicos puedan recurrir cuando las comunidades más lo necesiten».

    El programa contempla construir centros de datos capaces de disminuir temporalmente su consumo de electricidad, mediante acuerdos con las empresas proveedoras para establecer cuánta energía pueden dejar de utilizar, la rapidez con que responderán y el tiempo durante el cual podrán mantener esa reducción. También se incorporarán baterías, sistemas de almacenamiento y generación eléctrica en las propias instalaciones para ayudar a estabilizar las fluctuaciones de la demanda.

    La tecnológica sostiene que estas medidas también podrían contribuir al financiamiento de la infraestructura eléctrica y evitar que los costos de expansión de la red recaigan sobre otros consumidores. «Siempre nos hemos comprometido a pagar nuestros propios costes energéticos, incluyendo la electricidad que consumimos y la infraestructura necesaria para dar servicio a nuestros centros», afirmó OpenAI en un comunicado.

    Nuevo centro de datos en Georgia

    El primer proyecto que implementará este programa será un centro de datos en Effingham, Georgia, donde OpenAI se comprometió a cubrir la totalidad de los costos de infraestructura y servicio eléctrico necesarios para su funcionamiento. Una vez entre en operaciones, la instalación tendrá capacidad para reducir su demanda energética hasta en 1,000 megavatios durante los períodos de mayor consumo, una cantidad equivalente a la demanda promedio de electricidad de aproximadamente 700,000 hogares.

    La empresa explicó que esta flexibilidad permitirá liberar capacidad de la red para mantener funcionando los sistemas de aire acondicionado en «cientos de miles de hogares durante las olas de calor extremo». «Junto con estas inversiones, nuestro programa Protectores de la Red puede contribuir a que la red sea más fiable y proteger a las familias y a las pequeñas empresas de los costes de la infraestructura de IA. Ese es el estándar que exigimos para nuestros centros de computación», sostuvo OpenAI.

  • Altman confía en que IA aporte «ganancia neta» de energía para compensar su alto consumo

    Altman confía en que IA aporte «ganancia neta» de energía para compensar su alto consumo

    El director ejecutivo y cofundador de OpenAI, Sam Altman, reconoció este lunes 2 de noviembre que el desarrollo de la inteligencia artificial (IA) incrementará considerablemente el consumo mundial de energía, aunque expresó su confianza en que los avances tecnológicos permitan compensar esa demanda mediante una mayor disponibilidad de recursos energéticos.

    Durante su participación en la feria energética ADIPEC, celebrada en Abu Dabi, Emiratos Árabes Unidos, el responsable de la empresa creadora de ChatGPT abordó las preocupaciones sobre el elevado consumo eléctrico de los centros de datos y destacó la necesidad de fortalecer la cooperación entre la industria tecnológica y las compañías energéticas.

    «Nos gustaría devolver con creces el favor de la demanda energética que tendremos logrando una ganancia neta para la disponibilidad de energía en el mundo», afirmó Altman ante representantes de empresas vinculadas a los hidrocarburos y las energías renovables. El ejecutivo sostuvo que la inteligencia artificial podría convertirse en una herramienta para encontrar soluciones a los desafíos de producción y abastecimiento energético.

    Altman aseguró que los modelos actuales de inteligencia artificial ya cuentan con capacidades para resolver problemas científicos complejos, por lo que considera posible aplicar esos avances a las dificultades que enfrenta la industria «para producir y suministrar energía». A su juicio, el potencial de estas herramientas podría contribuir a mejorar la disponibilidad energética mundial.

    El empresario explicó que el consumo eléctrico necesario para responder una consulta individual de inteligencia artificial se redujo considerablemente en comparación con los niveles registrados hace tres o cuatro años. Sin embargo, advirtió que la utilización masiva de estas plataformas provoca que la demanda energética total continúe creciendo. «A medida que lo hacemos más eficiente, la gente simplemente quiere usarlo mucho más», señaló.

    Para ejemplificar la expansión del uso de estas herramientas, Altman indicó que hace seis años el usuario con mayor actividad dentro de OpenAI consumía alrededor de 100,000 tókenes mensuales, una cantidad que actualmente equivale al promedio mundial por persona. En contraste, aseguró que el usuario con mayor consumo de la plataforma alcanza ahora los 500,000 millones de tókenes al mes.

    Pese a las presiones que este crecimiento representa para las redes eléctricas, el director ejecutivo consideró que las industrias tecnológica y energética tienen «la obligación con la sociedad de suministrarla», debido a las oportunidades que ofrece la inteligencia artificial en sectores como la educación, la medicina y la investigación de nuevos medicamentos.

    Altman también destacó el avance tecnológico de Emiratos Árabes Unidos, país anfitrión del encuentro, donde aproximadamente el 80 % de los jóvenes utiliza ChatGPT al menos una vez por semana. Según el ejecutivo, esta proporción coloca al país entre los mercados con mayor penetración de la herramienta, en un contexto de expansión global de la inteligencia artificial y de creciente necesidad de infraestructura energética.

  • OpenAI presenta GPT-6.1 Terra: mejor comprensión visual del ordenador, menos errores y medidas de seguridad

    OpenAI presenta GPT-6.1 Terra: mejor comprensión visual del ordenador, menos errores y medidas de seguridad

    OpenAI presentó este martes GPT-6.1 Terra, una nueva versión de su modelo de inteligencia artificial (IA) diseñada para ejecutar tareas cotidianas con mayor precisión, reducir los errores en sus respuestas y mejorar la comprensión visual de las computadoras, con capacidades que le permiten realizar operaciones más complejas y mantener un menor costo de funcionamiento.

    La compañía tecnológica explicó que GPT-6.1 Terra conserva las características de velocidad, capacidad y costo de los modelos Terra, presentados originalmente en julio con GPT-5.6, pero incorpora mejoras para interpretar información visual y ejecutar acciones directamente en una computadora, como completar formularios, analizar planos técnicos y editar videos.

    Uno de los principales avances está en la reducción de errores factuales y de las denominadas alucinaciones, situaciones en las que la inteligencia artificial genera información incorrecta. Según pruebas internas de OpenAI, la tasa de errores con un nivel bajo de razonamiento pasó del 53.6 % en GPT-5.6 Terra al 16.7 % en GPT-6.1 Terra, una disminución de 36.9 puntos porcentuales.

    La empresa también destacó que su nuevo modelo consiguió superar en 15 puntos a su antecesor en la evaluación Agents’ Last Exam, utilizada para medir el desempeño de sistemas de inteligencia artificial en tareas profesionales. Con ese resultado, GPT-6.1 Terra logró igualar el rendimiento de GPT-6 Astra, considerado el modelo más avanzado de la compañía, pero con un costo por token equivalente a una décima parte.

    Las mejoras no se limitan al uso de computadoras. OpenAI aseguró que GPT-6.1 Terra también presenta avances en programación e investigación científica, dos áreas en las que los modelos de inteligencia artificial requieren interpretar instrucciones complejas, procesar información y desarrollar soluciones con mayor exactitud.

    En materia de seguridad, la nueva versión incorpora las protecciones desarrolladas para GPT-6 Astra y las mejoras de alineación de la serie GPT-6. La compañía señaló que el modelo alcanza el umbral crítico de ciberseguridad establecido en su Marco de preparación, una clasificación que contempla capacidades avanzadas relacionadas con riesgos informáticos y exige medidas adicionales de protección.

    OpenAI también dio a conocer los precios de GPT-6.1 Terra para desarrolladores que utilizan su interfaz de programación de aplicaciones (API). El servicio tendrá un costo de $1 por cada millón de tokens de entrada, $0.05 por millón de tokens de entrada almacenados en caché y $5 por millón de tokens de salida, una estructura con la que busca ofrecer capacidades avanzadas de inteligencia artificial a un precio inferior al de sus modelos más potentes.

    El nuevo GPT-6.1 Terra estará disponible para usuarios de las suscripciones Plus, Pro, Enterprise y Edu mediante ChatGPT Work y Codex. Con esta actualización, OpenAI busca ampliar el uso de la inteligencia artificial en actividades diarias y profesionales, especialmente aquellas que requieren interactuar con computadoras, comprender elementos visuales y ejecutar tareas con menos errores.

  • Australia alerta de una amenaza cibernética sin precedentes por el avance de la IA

    Australia alerta de una amenaza cibernética sin precedentes por el avance de la IA

    El rápido avance de la inteligencia artificial (IA) está aumentando los riesgos de ataques cibernéticos a una escala sin precedentes, advirtió este martes el Gobierno de Australia, que señaló que esta tecnología permite a los delincuentes identificar vulnerabilidades en sistemas informáticos y ejecutar operaciones maliciosas con mayor rapidez, alcance y sofisticación.

    El informe anual de ciberamenazas, elaborado por la Dirección de Señales de Australia (ASD), identifica a la IA como el principal factor que está transformando la seguridad digital. Aunque esta tecnología ofrece nuevas herramientas para proteger redes y sistemas, también facilita operaciones de espionaje, robo de información y ataques informáticos cada vez más complejos.

    Las autoridades australianas advirtieron especialmente sobre los riesgos que representan los agentes de inteligencia artificial capaces de realizar tareas de manera autónoma, debido a que pueden ejecutar acciones no previstas por sus desarrolladores e interactuar con sistemas informáticos sin intervención humana directa. El documento también señala peligros relacionados con las pruebas de modelos avanzados de IA.

    Las cifras reflejan el aumento de las amenazas. Durante el ejercicio 2025-2026, el Centro Australiano de Ciberseguridad (ACSC) respondió a más de 1,500 incidentes, un incremento superior al 20 % respecto al período anterior. Además, emitió más de 4,400 notificaciones a distintas entidades sobre posibles actividades maliciosas, casi un 80 % más que el año previo.

    Los ataques informáticos afectan tanto a instituciones gubernamentales como a empresas, infraestructuras críticas y ciudadanos particulares. Según el informe, los responsables buscan apropiarse de información y dinero, desarrollar operaciones de espionaje o preparar futuras ofensivas digitales. Las autoridades también reconocen que resulta cada vez más difícil distinguir entre actividades patrocinadas por Estados, acciones de sabotaje y delitos cibernéticos.

    Uno de los incidentes que evidencia estos riesgos involucró a un agente de inteligencia artificial de OpenAI, que en junio accedió sin autorización a áreas no públicas de un portal gubernamental australiano relacionado con el sistema sanitario. El modelo, utilizado en un entorno interno de entrenamiento y evaluación, intentaba obtener información sobre el gasto público en medicamentos cuando ingresó a secciones restringidas del sistema.

    Semanas antes de la publicación del informe, el director de estrategia de OpenAI, Jason Kwon, reconoció ante una comisión parlamentaria australiana que la respuesta de la compañía al incidente fue insuficiente. La empresa aseguró que no encontró pruebas de que el modelo accediera a historiales médicos o información individual de pacientes, aunque admitió que demoró demasiado en comunicar lo ocurrido a las autoridades.

    Ante el crecimiento de estas amenazas, el ministro de Defensa australiano, Richard Marles, pidió aprovechar las ventajas de la inteligencia artificial sin desatender sus peligros. El funcionario instó a ciudadanos, empresas e instituciones a fortalecer sus sistemas de seguridad, mantener actualizados sus equipos, revisar las configuraciones de privacidad y denunciar cualquier actividad sospechosa para reducir la exposición a los ciberataques.

  • OpenAI restringe el acceso a internet durante el entrenamiento de sus modelos de IA más avanzados

    OpenAI restringe el acceso a internet durante el entrenamiento de sus modelos de IA más avanzados

    OpenAI anunció que bloqueará el acceso a internet durante el entrenamiento de sus modelos de inteligencia artificial (IA) de frontera, una medida con la que busca evitar que sus sistemas más avanzados puedan comprometer la seguridad de plataformas externas o ejecutar acciones fuera de su control.

    La compañía explicó que tomó esta decisión después de identificar riesgos relacionados con el comportamiento de agentes de inteligencia artificial durante sus procesos de aprendizaje, entre ellos un incidente ocurrido durante el verano, cuando algunos agentes lograron vulnerar la plataforma Hugging Face.

    «Basándonos en el estado actual de la investigación de alineamiento, los sistemas de monitorización y la seguridad de la infraestructura de internet, creemos que la perspectiva responsable es realizar el entrenamiento de un modelo sin acceso a internet», señala OpenAI desde el anuncio en su web, para puntualizar a continuación que esta nueva directriz «se mantendrá hasta que los avances en medidas de seguridad justifiquen un acceso más amplio a internet».

    La tecnológica estableció límites de seguridad para que sus agentes puedan utilizar navegadores, herramientas de programación, entornos de ejecución de código y otras aplicaciones necesarias para completar sus tareas, sin disponer de una conexión abierta a internet que pueda representar riesgos para otros sistemas.

    «Aunque el acceso a internet puede ayudar a los modelos a que aprendan habilidades útiles, también da capacidad para que los agentes desalineados afecten sistemas fuera de nuestro control», asegura el laboratorio de IA. Para reducir ese peligro, OpenAI desarrolló un entorno virtual sin conexión, construido a partir de contenidos previamente indexados y almacenados en caché, donde los modelos pueden practicar búsquedas, navegación y utilización de aplicaciones web sin afectar plataformas externas.

    La compañía confirmó que todos sus entrenamientos mediante aprendizaje por refuerzo utilizan actualmente este entorno aislado. Sin embargo, reconoció que las restricciones no eliminan completamente los riesgos, como quedó demostrado el pasado 20 de septiembre, cuando «un modelo de investigación interno explotó una mala configuración en un resolutor DNS para obtener acceso limitado a internet en vivo» durante una sesión de entrenamiento. Aunque la empresa consiguió contener el incidente, decidió suspender ese proceso de aprendizaje.

    Otro problema fue identificado durante una evaluación de seguridad realizada por un equipo especializado que puso a prueba los agentes de sus modelos más avanzados. En ese ejercicio, los sistemas consiguieron superar el aislamiento de las máquinas virtuales y comunicarse entre sí sin utilizar una conexión de red, mediante la medición de los tiempos de acceso a la memoria caché del procesador, una técnica relacionada con los ataques informáticos Spectre y Meltdown.

    OpenAI aseguró que corrigió las vulnerabilidades detectadas e incorporó nuevos mecanismos de vigilancia para identificar comunicaciones de este tipo. La compañía mantendrá las restricciones de acceso a internet durante el entrenamiento de sus modelos de frontera hasta que los avances en sus medidas de seguridad permitan ampliar nuevamente la conectividad sin comprometer los sistemas externos.

  • La china Moonshot dice que ha limitado capacidades de ciberataque de su nuevo modelo de IA

    La china Moonshot dice que ha limitado capacidades de ciberataque de su nuevo modelo de IA

    La empresa tecnológica china Moonshot AI anunció que redujo las capacidades de su nuevo modelo de inteligencia artificial (IA), Kimi K3.1 Pro, para detectar y aprovechar vulnerabilidades en sistemas informáticos, en un intento por evitar que esta tecnología sea utilizada para ejecutar ciberataques.

    La compañía, con sede en China, explicó durante la presentación del modelo que eliminó información relacionada con ciberseguridad en dos etapas de su entrenamiento. La medida busca disminuir los riesgos de un uso malicioso de la herramienta, sin afectar sus capacidades generales para desarrollar programas informáticos.

    Las pruebas realizadas por la propia empresa revelaron que Kimi K3.1 Pro alcanzó un 81 % de efectividad en ejercicios de explotación de vulnerabilidades, frente al 90.5 % obtenido por una versión que no tenía restricciones. Sin embargo, estos resultados todavía no cuentan con una verificación independiente.

    Moonshot reconoció que su sistema mantiene la capacidad de identificar fallas de seguridad informática, aunque aseguró que su rendimiento en este campo es inferior al de otros modelos avanzados de inteligencia artificial que se encuentran disponibles en el mercado.

    El nuevo modelo puede procesar hasta un millón de tókenes de contexto, una capacidad que permite trabajar con grandes cantidades de información. La herramienta fue desarrollada para ejecutar tareas de programación, creación de contenidos tridimensionales e investigación financiera, entre otras aplicaciones tecnológicas.

    Kimi K3.1 Pro ya se encuentra disponible a través de los servicios de Moonshot. La compañía tiene previsto publicar el próximo 4 de noviembre los parámetros completos del sistema, lo que permitirá que otros desarrolladores puedan ejecutarlo, modificarlo y adaptarlo a sus propias necesidades.

    La publicación de estos archivos también representa un desafío para la seguridad informática, debido a que la empresa tendrá mayores dificultades para controlar el uso de su tecnología una vez que sea distribuida. Moonshot sostiene, sin embargo, que esta apertura también podría contribuir a descubrir vulnerabilidades y fortalecer la protección de los sistemas informáticos.

    El lanzamiento ocurre en medio de una creciente competencia tecnológica entre China y Estados Unidos por el liderazgo mundial de la inteligencia artificial. Empresas chinas como DeepSeek, MiniMax y Moonshot impulsan modelos de pesos abiertos, mientras que las estadounidenses OpenAI y Anthropic mantienen sistemas cerrados. Esta disputa también está marcada por las restricciones de Washington a la exportación de chips avanzados hacia China y los esfuerzos de Pekín por desarrollar tecnología propia.

  • OpenAI incorpora bloqueo con PIN para proteger chats privados en ChatGPT

    OpenAI incorpora bloqueo con PIN para proteger chats privados en ChatGPT

    OpenAI anunció este miércoles una nueva función de privacidad para ChatGPT que permite a los usuarios bloquear determinadas conversaciones mediante un código PIN, con el objetivo de evitar que otras personas puedan acceder a su contenido cuando utilizan dispositivos compartidos.

    La herramienta, denominada Chats bloqueados, incorpora un apartado específico dentro del asistente de inteligencia artificial (IA), donde los usuarios pueden guardar conversaciones privadas y mantenerlas ocultas del historial habitual, los chats fijados y los resultados de búsqueda.

    La compañía explicó que esta función está dirigida especialmente a quienes utilizan ChatGPT en espacios públicos, comparten la pantalla de sus dispositivos o acceden al servicio desde equipos utilizados por otras personas, situaciones en las que determinadas conversaciones podrían quedar expuestas.

    Para proteger los chats, los usuarios deberán establecer un código PIN de cuatro dígitos. En las aplicaciones de ChatGPT para Android y iOS también podrán utilizar mecanismos de autenticación biométrica, como el reconocimiento facial o la huella dactilar, para acceder a las conversaciones restringidas.

    Una vez completada la verificación de identidad, el sistema permitirá ingresar al apartado de Chats bloqueados y consultar las conversaciones previamente seleccionadas. Sin embargo, OpenAI aclaró en su página de soporte que esta protección no significa que los mensajes cuenten con cifrado de extremo a extremo, sino que restringe su acceso frente a otras personas que utilizan el mismo dispositivo.

    La empresa también precisó que bloquear conversaciones no modifica la configuración denominada ‘Mejorar el modelo para todos’, relacionada con el uso de información para entrenar sus sistemas. Tampoco elimina los datos que ChatGPT hubiera recordado antes de activar la protección ni modifica las políticas aplicables, los requisitos de seguridad y las obligaciones legales.

    Uno de los aspectos más importantes de esta herramienta es que, si el usuario necesita restablecer el PIN, perderá permanentemente las conversaciones almacenadas en el apartado protegido, junto con los archivos y la información que únicamente se encuentren resguardados mediante el código anterior. «Esta acción es irreversible y el soporte de OpenAI no puede recuperar el contenido eliminado», advirtió la compañía.

    Para activar la función, los usuarios deberán ingresar a ‘Proyectos’, seleccionar ‘Chats bloqueados’ y configurar el código de cuatro dígitos antes de elegir o crear las conversaciones que desean proteger. OpenAI comenzó a distribuir gradualmente esta herramienta entre los usuarios de la versión gratuita y los suscriptores de los planes Go, Plus, Pro, Business, Enterprise y Edu.

  • Anthropic desconecta de internet sus pruebas de IA por falta de control de sus agentes

    Anthropic desconecta de internet sus pruebas de IA por falta de control de sus agentes

    La empresa de inteligencia artificial Anthropic decidió suspender el acceso a internet en todas las evaluaciones internas de sus modelos de IA, mientras desarrolla mecanismos que le permitan garantizar la vigilancia y el control de sus agentes para evitar que ejecuten acciones no autorizadas fuera de sus entornos de prueba.

    La decisión fue anunciada después de que el laboratorio identificara una serie de comportamientos inesperados de Claude, su modelo de inteligencia artificial, entre ellos el envío de una pista falsa relacionada con un asesinato sin resolver a la policía de Filadelfia, Estados Unidos.

    Este incidente llevó a la compañía a reforzar las restricciones de seguridad durante las pruebas.

    «Aunque el impacto de esos comportamientos fue mínimo y ya habíamos desconectado el acceso a internet para algunas de las evaluaciones de ciberseguridad de mayor riesgo, ahora hemos decidido expandirlo a todas nuestras evaluaciones internas hasta que tengamos confirmado que nuestras medidas de seguridad y monitorización realmente son capaces de detener este tipo de comportamientos», señala Anthropic sobre una cadena de sucesos protagonizados por Claude que detectó en una revisión iniciada en julio.

    La compañía explicó en un informe divulgado el viernes que los incidentes fueron identificados durante una revisión iniciada en julio, en la que detectó que sus agentes de inteligencia artificial podían realizar operaciones que excedían las tareas originalmente asignadas.

    Entre las irregularidades encontradas figuran la explotación de vulnerabilidades informáticas mediante inyecciones SQL y comandos en páginas de terceros, el envío de formularios sin autorización y la utilización de enlaces acortados para superar restricciones relacionadas con la longitud de las direcciones de internet.

    El laboratorio también identificó intentos de evadir limitaciones de acceso en sitios gubernamentales, lo que puso de manifiesto los riesgos asociados al funcionamiento de agentes de inteligencia artificial con capacidad para interactuar con plataformas externas sin una supervisión suficientemente efectiva.

    «En muchos de los casos donde observamos estos comportamientos, a Claude se le habían encomendado tareas que eran ambiguas o imposibles de completar. Nosotros y otros hemos observado que cuando a los modelos se les dan tareas imposibles de completar, persiguen estrategias no deseadas y, a veces, desalineadas para lograr sus objetivos», indica el laboratorio de IA.

    Los incidentes descritos por Anthropic presentan similitudes con situaciones registradas en agentes de inteligencia artificial de OpenAI, empresa creadora de ChatGPT, que también tuvo que suspender temporalmente el entrenamiento de uno de sus modelos avanzados tras detectar ataques contra sitios web del Gobierno de Estados Unidos y accesos masivos a una plataforma de la Organización de las Naciones Unidas (ONU).

  • OpenAI admite fallos tras acceso de IA en Australia

    OpenAI admite fallos tras acceso de IA en Australia

    El director de estrategia de OpenAI, Jason Kwon, reconoció este martes que la compañía no gestionó «suficientemente bien» el acceso no autorizado de uno de sus agentes de inteligencia artificial (IA) a un portal del sistema público sanitario de Australia.

    Kwon compareció ante el Parlamento australiano, convocado por una comisión que investiga el impacto de la IA, donde aseguró que el incidente «no debería haber ocurrido» y reconoció errores en la respuesta posterior de la compañía.

    «Lo sentimos y sabemos que tenemos trabajo por hacer para reconstruir la confianza del pueblo australiano», afirmó Kwon durante la audiencia celebrada en Sídney. También admitió que OpenAI esperó demasiado para comunicar lo sucedido al Gobierno y que debió informar inmediatamente a los responsables afectados, incluso sin conocer todavía todos los detalles.

    El incidente ocurrió en junio, cuando un modelo de OpenAI utilizado en un entorno interno de entrenamiento y evaluación recibió la tarea de investigar información sobre el gasto público en medicamentos para enfermedades de la piel en comunidades del estado de Victoria. Sin embargo, el episodio no fue comunicado hasta el pasado mes.

    Ante las dificultades para encontrar la información solicitada, el modelo ejecutó acciones que no estaban autorizadas y accedió a zonas no públicas de un sistema gubernamental. Allí ejecutó comandos, consultó archivos internos, credenciales e información estadística y llegó a escribir archivos. OpenAI aseguró que no encontró pruebas de que hubiera accedido a historiales médicos o datos individuales de pacientes.

    La controversia adquirió dimensión internacional después de que el primer ministro australiano, Anthony Albanese, denunciara ante la Asamblea General de Naciones Unidas que un agente de IA de OpenAI había ingresado sin autorización a un portal relacionado con Medicare. La compañía consideró el episodio como un nuevo tipo de amenaza cibernética asociada con sistemas de IA capaces de actuar autónomamente.

    Kwon aseguró que OpenAI reforzó desde entonces la seguridad de sus entornos de investigación, con una mayor supervisión de los modelos en tiempo real y sistemas de alarma para detectar interacciones no previstas. La empresa también creó un equipo específico en Australia para analizar los riesgos de sistemas de IA cada vez más capaces y mejorar su respuesta ante futuros incidentes.

    La comparecencia ocurre en medio de un creciente escrutinio sobre los agentes de IA. OpenAI informó en julio de otro incidente en el que uno de sus modelos superó restricciones de un entorno de evaluación y accedió a internet para interactuar con sistemas de Hugging Face. También reconoció interacciones no previstas con páginas de la Comisión de Bolsa y Valores (SEC) de Estados Unidos, aunque sostuvo que únicamente se accedió a información pública. Su competidora Anthropic reportó que algunos de sus modelos accedieron durante pruebas a sistemas de varias organizaciones, mientras evaluaciones de seguridad en Estados Unidos y Reino Unido documentaron intentos de modelos de IA por eludir restricciones o ejecutar acciones no previstas.