Etiqueta: gobernanza tecnológica

  • España aspira a liderar la carrera por una inteligencia artificial responsable

    España aspira a liderar la carrera por una inteligencia artificial responsable

    España reiteró este miércoles su intención de encabezar el desarrollo global de una inteligencia artificial (IA) con enfoque ético, durante la primera reunión presencial del Panel Científico Internacional Independiente sobre IA de Naciones Unidas, celebrada en Madrid.

    El presidente del Gobierno, Pedro Sánchez, aseguró ante los expertos que el país no pretende solo participar en la competencia tecnológica, sino liderarla bajo principios humanistas. “no quiere participar en la carrera de la inteligencia artificial (IA). Quiere liderarla. Con una visión clara: una IA responsable, humanista, que sirva al bienestar de todos sin dejar a nadie atrás”, expresó.

    España acogió el encuentro de los 40 especialistas que integran este panel, creado en agosto con respaldo de 193 países. El organismo tiene como objetivo elaborar informes anuales sobre oportunidades, riesgos e impactos de la inteligencia artificial a nivel global.

    Durante su intervención en el Congreso de los Diputados, donde se desarrollan las jornadas, Sánchez insistió en que el país busca ser protagonista en la construcción de un modelo de gobernanza tecnológica orientado al bien común. “No vamos a limitarnos a observar cómo la IA más poderosa de la Historia decide por sí misma cuándo cumplir las reglas y cuándo ignorarlas. Vamos a gobernar la IA. Y vamos a hacerlo juntos, aprovechando las herramientas multilaterales que tenemos para defender el bien común y las virtudes de una tecnología que puede cambiar el destino del mundo”, afirmó.

    El mandatario también subrayó la necesidad de que el avance tecnológico esté alineado con los valores democráticos. “la tecnología más transformadora de nuestro tiempo debe avanzar en la misma dirección que nuestras democracias: con derechos protegidos, con seguridad jurídica, y con confianza. La gobernanza de la IA pertenece a los pueblos, no a los mercados”, añadió.

    Sánchez enfatizó que el progreso no depende únicamente de la tecnología, sino de las decisiones humanas y políticas. “Son las personas quienes lo construyen. Son los gobiernos quienes garantizan que el progreso tecnológico no implica retrocesos en otros ámbitos”, sostuvo.

    En el encuentro, los líderes del panel, María Ressa y Yoshua Bengio, destacaron el compromiso español con una regulación justa de la IA. Ressa advirtió sobre los riesgos actuales en el ecosistema digital: “Asistimos a un golpe de estado tecnológico. Las redes sociales son el estado fallido mas rico del mundo. Y ese estado ha creado la IA generativa para tener cada vez más poder”.

    La periodista también alertó sobre el impacto de la desinformación en las democracias. “las mentiras se reproducen a escala y se repiten sin cesar hasta que los ciudadanos no saben que es verdad y que es mentira. La prensa colapsa. Y la corrupción y las fuerzas antidemocráticas campan a sus anchas”, señaló, al destacar la relevancia de un panel independiente que rinda cuentas sobre el desarrollo de la IA.

    Por su parte, Bengio remarcó que esta tecnología definirá el futuro de la humanidad y no debe quedar en manos de unos pocos. “El Panel es la oportunidad de que las inquietudes de todo el mundo en la gobernanza de la IA estén representadas, para dar al Sur Global o a Europa la voz que ahora mismo no tienen”, indicó.

    En un mensaje grabado, el secretario general de la ONU, António Guterres, resaltó que los aportes del panel serán clave para que las decisiones gubernamentales sobre inteligencia artificial estén basadas en evidencia científica.

  • Estudio alerta baja transparencia en seguridad de bots de Inteligencia Artificial

    Estudio alerta baja transparencia en seguridad de bots de Inteligencia Artificial

    Un estudio de la Universidad de Cambridge, en Reino Unido, advierte que la mayoría de los principales agentes de inteligencia artificial carecen de información básica de seguridad, pese a su creciente uso en tareas cotidianas y empresariales. La investigación analizó 30 bots de última generación y concluyó que solo cuatro han publicado documentos formales de seguridad y evaluación específicos para cada agente.

    El informe, divulgado en los Informes y Actas de Cambridge, señala que mientras los desarrolladores comparten abundante información sobre las capacidades de estos sistemas, omiten detalles clave sobre prácticas de seguridad y evaluación de riesgos.

    El análisis forma parte del AI Agent Index, un proyecto que involucra a investigadores del MIT, Stanford y la Universidad Hebrea de Jerusalén, y que evaluó transparencia, capacidades y seguridad con base en información pública y consultas directas con desarrolladores.

    Entre los hallazgos, el equipo identificó que 25 de los 30 agentes no revelan resultados de pruebas internas de seguridad y que 23 no ofrecen datos de evaluaciones realizadas por terceros, considerados esenciales para medir riesgos de manera rigurosa. Además, solo cinco agentes han reportado incidentes o preocupaciones de seguridad, y apenas dos documentan vulnerabilidades de “inyección rápida”, que permiten manipular al sistema para ignorar medidas de protección.

    “Muchos desarrolladores cumplen con los requisitos de seguridad de la IA al centrarse en el gran modelo de lenguaje subyacente, mientras que brindan poca o ninguna información sobre la seguridad de los agentes creados sobre él”, advirtió Leon Staufer, autor principal de la actualización del índice.

    Añadió que “los comportamientos críticos para la seguridad de la IA surgen de la planificación, las herramientas, la memoria y las políticas del propio agente, no solo del modelo subyacente, y muy pocos desarrolladores comparten estas evaluaciones”.

    El estudio también detectó que 13 agentes exhiben niveles “fronterizos” de autonomía, pero solo cuatro presentan evaluaciones de seguridad propias.

    Los agentes de navegación web muestran la mayor omisión de datos de seguridad, con 64 % de campos sin reportar, seguidos por los agentes empresariales con 63 % y los agentes de chat con 43 %. Según los investigadores, la creciente dependencia de pocos modelos base como GPT, Claude y Gemini genera posibles puntos únicos de fallo, lo que podría amplificar riesgos ante cambios en precios, interrupciones o regresiones de seguridad.

    El informe concluye que, mientras los agentes de IA se vuelven más autónomos y capaces de actuar en el mundo real, los marcos de transparencia y gobernanza avanzan a un ritmo peligrosamente rezagado.