“Urge regular la inteligencia artificial antes de que se convierta en un peligro para la humanidad”. Podría ser una frase extraída de la carta que Dario Amodei publicó hace unos días, pero no. Lo dijo Elon Musk en 2017, cuando no existía ChatGPT, Claude ni ninguna de las IAs que usamos hoy en día.
La idea de que la IA se descontrole y acabe amenazando nuestra propia existencia no es nueva. Los creyentes del AI doom llevan más de una década lanzando advertencias muy parecidas a las que hoy llenan titulares. Antes pasaban más desapercibidas, pero hoy han conseguido captar la atención del mundo.
Los inicios del movimiento ‘doomer’
El movimiento por la seguridad de la IA nació mucho antes de que existieran Anthropic y OpenAI. Los primeros vestigios de estas ideas empiezan con la formación del MIRI, que son las siglas de Machine Intelligence Research Institute, en el año 2000, aunque no fue hasta 2005 cuando se empezaron a enfocar en los riesgos existenciales que presentaba la IA.
En 2009, uno de los cofundadores del MIRI, Eliezer Yudkowsky, ayudó a formar LessWrong, una comunidad donde una de las grandes obsesiones era la amenaza de una singularidad tecnológica. Aquí convivían ideas del transhumanismo, un movimiento intelectual que plantea la mejora del ser humano mediante la tecnología, y el altruismo eficaz, una corriente que trata de identificar, con herramientas cuantitativas, las formas más eficaces de generar el mayor bien posible en el mundo.
De la confluencia de estas dos corrientes nació una visión muy concreta: la inteligencia artificial acabaría superando inevitablemente a los humanos y, si no se construía alineándola con nuestros objetivos, sería una amenaza para la supervivencia de la humanidad.
El primer advenimiento del pesimismo de la IA
Estas ideas no pasaron desapercibidas para las élites tecnológicas y, en paralelo, grandes personalidades del sector donaban millones de dólares al movimiento. Fue el caso de Elon Musk, que en 2015 donó 10 millones de dólares en becas para formar investigadores de IA que ayudaran a construir una tecnología segura para el ser humano.
Fue también en 2015 cuando Elon Musk firmó un manifiesto junto a otras personalidades del mundo tecnológico y de la IA como Demis Hassabis de DeepMind, Geoffrey Hinton, Yann LeCun, Ilya Sutskever, Steve Wozniak y hasta el mismísimo Stepeh Hawking entre otros. El manifiesto pedía más investigación para reforzar la seguridad y que “Nuestros sistemas de inteligencia artificial deben hacer lo que nosotros queramos que hagan”. Esta carta fue publicada a través del instituto Future of Life, una organización sin ánimo de lucro que lleva desde entonces advirtiendo de los riesgos de la IA.
En 2015, varias personalidades del mundo tecnológico y de la IA firmaron un manifiesto para que “Nuestros sistemas de inteligencia artificial deben hacer lo que nosotros queramos que hagan”
Bill Gates se sumó a la conversación y mostró su preocupación por la posible creación de una superinteligencia: “Primero, las máquinas harán muchos trabajos por nosotros y no serán súper inteligentes. Eso debería ser positivo si lo manejamos bien. Sin embargo, unas décadas después, las inteligencias serán suficientemente fuertes para convertirse en una preocupación”.
En esta época ya se empezaban a escuchar advertencias de personalidades tecnológicas importantes, pero su discurso era bastante prudente y no destilaba la urgencia ni el catastrofismo que vimos años después.
El catastrofismo post ChatGPT
El doomerismo atravesó una etapa bastante tranquila en los años posteriores, pero en 2023 volvió con mucha más fuerza con la publicación de dos cartas abiertas alertando de los peligros. En este momento el desarrollo de la IA esaba en plena ebullición y acababa de salir GPT-4.
La primera carta, de nuevo publicada en Future of Life, pedía parar el entrenamiento de nuevos modelos durante al menos seis meses. La carta estaba firmada por personalidades comoSteve Wozniak, Elon Musk, Jaan Tallinn o Max Tegmark.
En 2023 varios líderes tecnológicos firman una carta abierta en la que afirman que “Mitigar el riesgo de extinción por la IA debería ser una prioridad mundial”
Unos meses después, en mayo, se publicó una segunda carta a través de la ONG Center for AI Safety y aquí apareció la palabra mágica: extinción. Esta era la frase exacta: “Mitigar el riesgo de extinción por la IA debería ser una prioridad mundial, junto con otros riesgos a escala social como las pandemias y la guerra nuclear”. Entre los firmantes estaba Geoffrey Hinton, Dario Amodei, Demis Hassabis y hasta Sam Altman.
Hablando de Geoffrey Hinton, el premio Nobel de Física ha sido una de las voces más pesimistas y que más insistido en los riesgos de una IA que supere a los humanos.
En 2025, Eliezer Yudkowsky y Nate Soares, fundador y actual presidente del MIRI respectivamente, publican el libro ‘If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All’ (Si alguien la construye, todos moriremos: por qué una IA sobrehumana nos mataría a todos). El título ya deja muy claro de que va la cosa y es una prueba de como el discurso de este movimiento se ha ido volviendo más y más alarmista con el paso de los años.
Un 10% de probabilidades de que la IA acabe con la humanidad
No es la declaración más loca que hemos escuchado, pero es la que ha encendido la polémica de estos días. La frase la pronunció Evan Hubinger, actual jefe de alineamiento de Anthropic. Hablamos del responsable de la seguridad de uno de los dos laboratorios de IA que están desarrollando modelos de frontera. No es un exempleado despechado, actualmente trabaja en Anthropic, conoce los modelos y es quien se ocupa de que sean seguros, por lo que algo sabe del tema.
Lo que dice Hubinger es relevante, pero también es relevante conocer de dónde viene. Cuando terminó su formación en matemáticas e informática, Evan Hubinger empezó a trabajar en el MIRI, que como ya hemos visto fue donde se empezó a fraguar todo este movimiento. Después entró en el Center for AI Safety, que es la ONG que publica aquella carta hablando de extinción en 2023.
Llevan más de una década repitiendo las mismas consignas: una IA que superará al ser humano, un riesgo existencial que exige acción inmediata y un pequeño grupo que asegura tener un plan para evitar el apocalipsis
Esto no significa que no existan riesgos y todo sea una fantasía de un grupo de visionarios exagerados. Incidentes como el de OpenAI y Hugging Face han dejado claro que los modelos pueden causar daños y alinearlos con nuestros objetivos es crucial. Hoy las cosas han cambiado mucho, los modelos de IA ya no son el futuro, sino el presente, y con la automejora recursiva los riesgos pueden multiplicarse. Sin embargo, de ahí a hablar de extinción en menos de 10 años, hay un trecho.
Este grupo lleva más de una década repitiendo las mismas consignas: una inteligencia artificial que inevitablemente superará al ser humano, un riesgo existencial que exige acción inmediata y un pequeño grupo que asegura tenerun plan para evitar el apocalipsis. Al final, este tipo de mensajes apocalípticos atraen mucha atención, pero a la vez desvían la atención de los verdaderos riesgos.
Imagen | Xataka con Magnific
En Xataka | Frenar la IA suena a proteger a la humanidad. También es una forma muy eficaz de frenar a DeepSeek, Qwen y Mistral
