El avance imparable de la inteligencia artificial genera entusiasmo… y también alarma. En la 80ª Asamblea General de la ONU, más de 200 expertos lanzaron el Global Call for AI Red Lines, un manifiesto que pide establecer prohibiciones claras antes de que la tecnología escape a todo control humano. Entre los firmantes figuran científicos de talla mundial como Geoffrey Hinton y Yoshua Bengio, pero ningún CEO de las grandes tecnológicas.
¿Qué son las “líneas rojas”?
La iniciativa propone fijar un marco internacional con prohibiciones verificables sobre usos considerados universalmente inaceptables. Entre ellos:
-
Delegar el lanzamiento de armas nucleares en sistemas de IA.
-
Desplegar armas letales autónomas.
-
Utilizar IA para vigilancia masiva o sistemas de “puntuación social”.
-
Permitir suplantación de identidad mediante modelos generativos.
-
Desarrollar sistemas imposibles de “apagar” si se pierde el control humano.
Según los firmantes, estos límites buscan prevenir riesgos irreversibles antes de que ocurran.
The time for AI self-regulation is over.
200 Nobel laureates, former heads of state, and industry experts just signed a statement:
“We urgently call for international red lines to prevent unacceptable AI risks”
The call was presented at the UN General Assembly today by Maria… pic.twitter.com/oWLaFzcDvx
— Charbel-Raphael (@CRSegerie) September 22, 2025
Quiénes firman… y quiénes no
El manifiesto cuenta con el respaldo de más de 70 organizaciones y 200 personalidades, incluidos diez premios Nobel y referentes de la investigación en IA. Nombres destacados como Geoffrey Hinton, Yoshua Bengio, Ian Goodfellow (DeepMind) o Wojciech Zaremba (cofundador de OpenAI) figuran en la lista.
Sin embargo, brilla por su ausencia la firma de los CEOs de gigantes tecnológicos como OpenAI, Google, Microsoft o Meta. Aunque han expresado públicamente preocupación por los riesgos de la IA, no se sumaron a esta iniciativa.
Entre la regulación y el negocio
Charbel-Raphaël Segerie, del Centro para la Seguridad en IA (CeSIA) en Francia, lo resume así:
“El objetivo no es reaccionar después de un incidente grave, sino evitar riesgos a gran escala y potencialmente irreversibles antes de que ocurran”.
La propuesta recuerda a iniciativas previas como la petición de 2023, apoyada por Elon Musk y Steve Wozniak, que pedía pausar el desarrollo de modelos durante seis meses. No prosperó y la IA continuó expandiéndose.
El espejo europeo
La Unión Europea fue pionera con el AI Act, en vigor desde 2024, que clasificaba usos de IA por niveles de riesgo. Pero su impacto fue negativo: empresas y laboratorios denunciaron trabas al desarrollo, lo que llevó a Bruselas a suavizar la normativa meses después.
El fracaso europeo alimenta dudas: ¿es posible una regulación global efectiva sin frenar la innovación?
Una llamada de urgencia
El Global Call for AI Red Lines es, en esencia, una advertencia: la IA ya muestra conductas engañosas y dañinas, y pronto será imposible garantizar un control humano significativo. Con acuerdos internacionales aún pendientes y las grandes tecnológicas al margen, el dilema es evidente: ¿logrará la política marcar los límites antes de que la IA los sobrepase?
Fuente: Xataka.
