Trabajó en OpenAI y Anthropic y renunció con una feroz advertencia sobre la IA: "Creen que podrá matarnos"

Un ingeniero británico de Anthropic —empresa detrás de Claude—, que también trabajó en los pasados tres años para OpenAI —la creadora de ChatGPT— renunció en las últimas horas porque dice que ambas compañías "no están actuando con responsabilidad" y están "jugando con nuestras vidas".

Jacob Coxon, ingeniero de software al que los medios identifican como uno de los desarrolladores de GPT-4o y GPT-4.5, aunque sin responsabilidades ejecutivas, aseguró en un hilo de su cuenta de X que las personas que están tras el desarrollo exponencial de la IA "creen que podrá matarnos a todos al final de esta década", porque "no hay otra actividad humana que suponga este nivel de amenaza".

Para el ingeniero, de 27 años, se está subestimando el poder de la tecnología, pero los proyectos de IA "serán pronto sistemas sobrehumanos que podrán haquear cualquier cosa, revolucionar todos los ámbitos y ganar verdadero poder y recursos".

En su opinión, hay una conciencia de esta realidad tanto en OpenAI como en Anthropic, pero ve una diferencia: los primeros "tal vez no han internalizado en profundidad los retos civilizacionales", mientras que los segundos los comprenden bien pero "están atrapados en la carrera por llegar primero", aun cuando en el caso más optimista se trate de llegar primero "para actuar con responsabilidad".

Coxon no ve otra salida que la coordinación entre los distintos proyectos de IA y de las empresas involucradas en ellos, pero siente que no se está produciendo y aboga entonces por "acciones costosas, como una prohibición temporal de mejorar las capacidades del modelo ('model capabilities'), y pide a los investigadores de la IA que reflexionen profundamente sobre la cuestión.

Foto: Magnific.

"¿Quieren potenciar un 'aprendizaje por refuerzo' (RL en la jerga técnica) superinteligente sin un entendimiento riguroso de su mente? -pregunta a sus colegas en la IA- ¿Van a bajar la cabeza porque 'total, ya está ocurriendo', o aprovechar este momento para abogar por condiciones diferentes?", concluye Coxon en un hilo que ha tenido ya una enorme repercusión mediática.

En esta línea, Evan Hubinger, investigador de Anthropic, replica a Coxon en X y matiza el discurso del ingeniero: "Jacob tiene razón aquí, realmente creemos con sinceridad que la IA podría matar a todos los humanos. Personalmente, pienso que es más del 10 % dentro de la próxima década".

Pese a ello, Hubinger considera que el riesgo de los modelos actuales es bajo, aunque lo preocupante es "la superinteligencia que surge del automejoramiento recursivo (...) que está ocurriendo más rápido de lo que pensábamos".

Coxon no ha sido el único investigador que se ha retirado del desarrollo de los modelos de IA en los últimos años tras advertir de sus peligros.

Este es el caso de Geoffrey Hinton, ganador del Nobel de Física, que renunció en 2023 a su puesto en Google para poder criticar los riesgos de la IA sin las trabas corporativas.

También hay que mencionar la carta abierta en la que en 2024 exempleados de OpenAI expresaron su preocupación por el rápido desarrollo de la IA y la ausencia de leyes que protegieran a los denunciantes.

EFE