El investigador Jacob Coxon renunció a Anthropic después de tres años dedicado al preentrenamiento de inteligencia artificial (IA) entre esa compañía y OpenAI, al considerar que ambas empresas avanzan de manera irresponsable hacia sistemas de superinteligencia y subestiman los posibles riesgos para la humanidad.
«Hoy renuncié a Anthropic. Pasé los últimos tres años investigando el preentrenamiento tanto en OpenAI como en Anthropic. Ninguna de las dos empresas actúa con responsabilidad. Están avanzando a toda velocidad hacia la superinteligencia auto-mejorada y jugando con nuestras vidas», ha expresado Coxon en un mensaje en redes sociales.
El investigador sostuvo que numerosas personas dentro de la industria tecnológica son conscientes de la rapidez con la que avanza la IA y de los potenciales peligros para la sociedad, aunque advirtió que algunos ejecutivos podrían minimizar públicamente esos riesgos.
«Quienes desarrollan la IA creen sinceramente que podría acabar con todos nosotros para finales de la década», ha asegurado.
Coxon señaló que la competencia por liderar el desarrollo de inteligencia artificial está llevando a las compañías a relegar otras consideraciones. Aunque considera que Anthropic presta mayor atención a estos riesgos que OpenAI, afirmó que ambas «están inmersas en una carrera por llegar primero».
«Aceptar esta carrera y entrar en la fase final es una apuesta temeraria que no debería emprenderse desde el Slack de una empresa privada. Intentar completar la alineación a toda velocidad requiere una confianza extraordinaria en que no existen mejores trayectorias disponibles», advirtió.
Evan Hubinger, responsable de Ciencia de Alineación en Anthropic, respaldó las advertencias de Coxon y aseguró que existe preocupación dentro del sector por las consecuencias que podría tener el desarrollo de sistemas mucho más avanzados. Hubinger afirmó que los trabajadores «verdaderamente creemos que la IA podría acabar con todos los humanos» y situó en más del 10 % la probabilidad de que esto ocurra para finales de la década.
Hubinger aseguró que Anthropic está haciendo «todo lo posible» para evitar ese escenario, pero reconoció que todavía no existe un plan para «resolver el problema de la alineación para la superinteligencia y no estamos claramente encaminados hacia ello». El investigador situó el principal peligro en sistemas de IA que lleguen a superar ampliamente las capacidades humanas.
Los modelos actuales todavía no alcanzan ese nivel, según Hubinger, quien centró su preocupación en una eventual capacidad de los sistemas para mejorar de manera recursiva. «Lo que me preocupa es la superinteligencia que surge de la auto-mejora recursiva, que, como hemos dicho, está ocurriendo más rápido de lo que pensábamos», ha observado.