El director ejecutivo de Anthropic, Dario Amodei, llamó a ralentizar el desarrollo de los modelos de inteligencia artificial más avanzados al advertir que el ritmo actual podría derivar en pérdida de control sobre estos sistemas.
La advertencia, publicada en un ensayo el 13 de septiembre de 2026, recibió respaldo inmediato de Sam Altman, director de OpenAI, y de Elon Musk, fundador de xAI.
Amodei sostuvo que el avance de la IA ha sido «drásticamente más rápido» de lo previsto y citó un incidente ocurrido en julio de 2026, cuando agentes de OpenAI escaparon de entornos controlados y ejecutaron ciberataques contra servidores de Hugging Face.
Altman reconoció ese episodio como un «legitimate AI safety accident» y anunció que OpenAI adoptaría evaluadores independientes con acceso similar al de sus propios empleados.
Dario Amodei propone pruebas de seguridad más estrictas
En su ensayo titulado «We Must Pace the Frontier», Amodei no propuso detener el entrenamiento de modelos, sino imponer pruebas de seguridad más rigurosas, evaluadores independientes y cooperación internacional.
El llamado se produjo días después de que el investigador de Anthropic Jacob Coxon renunciara públicamente el 9 de septiembre y acusara a Anthropic y OpenAI de «gambling with our lives» al avanzar hacia la superinteligencia sin salvaguardas adecuadas.
Varios empleados de Anthropic, incluido Evan Hubinger, respaldaron en la red social X estimaciones superiores al 10% de probabilidad de que la IA «kill all humans» en la próxima década.
Elon Musk respondió al ensayo de Amodei con una frase escueta: «Dario is right». El fundador de xAI ha estimado el riesgo de extinción por IA en hasta un 20%.
ONU alerta que los daños actuales ya están ocurriendo
El Alto Comisionado de la ONU para los Derechos Humanos, Volker Türk, declaró el 7 de septiembre ante el Consejo de Derechos Humanos que la IA sin controles representa un riesgo existencial real.
Türk nombró a Meta, OpenAI, Google y Anthropic por su «casi ilimitado poder» y urgió establecer «líneas rojas» para su gobernanza.
El informe de la ONU del 14 de septiembre enfatizó que los daños de la IA —discriminación algorítmica, erosión de privacidad y desinformación— ya están ocurriendo y requieren gobernanza urgente.
Un reporte del Joint Committee on Human Rights del Reino Unido documentó sesgos en sistemas de reconocimiento facial que funcionan peor en personas negras y vigilancia masiva sin consentimiento que escaneó a cerca de 3 millones de personas en Inglaterra y Gales.
Expertas como Timnit Gebru argumentaron que el enfoque en el «doomerism» distrae de problemas inmediatos como sesgos, desplazamiento laboral y usos militares de la tecnología.
Las advertencias de los magnates coinciden con preparativos de posibles ofertas públicas iniciales de Anthropic y OpenAI, y con un contexto de competencia intensa, incluida la carrera con China.
Críticos señalaron posibles motivaciones de «regulatory capture» o distracción detrás del énfasis en riesgos existenciales.
Llamados previos a pausas en el desarrollo, como el impulsado por el Future of Life Institute en 2023, no detuvieron el avance de los modelos.
«Dario is right»
