OpenAI despidió a tres investigadores que querían preservar el monitoreo del razonamiento de sus modelos

Tres investigadores de OpenAI —Tomek Korbak, Mikita Balesni y Jasmine Wang— fueron despedidos según informó el Wall Street Journal, que señala que compartieron información con una organización externa de seguridad en IA. OpenAI afirma que los despidos se debieron a «violación de políticas sobre manejo de información sensible de la empresa» y que «no están relacionados con preocupaciones de seguridad». Los tres, antes de ser despedidos, publicaron un alegato conjunto en el que argumentan que la industria no sabe cómo desarrollar modelos que no puedan ser monitoreados de manera segura, y que ningún avance que reduzca esa monitorización debería considerarse progreso.

He seguido las salidas de empleados de laboratorios de IA desde los primeros días de OpenAI, cuando el diferencial entre lo que se decía en público y lo que pasaba en las reuniones internas no era tan visible como ahora. El patrón de estas salidas —investigadores de seguridad que salen o son despedidos después de hacer ruido internamente— se repite con demasiada frecuencia para ser anecdótico.

La cadena de pensamiento (chain of thought, CoT) es el proceso por el que un modelo de lenguaje genera razonamiento intermedio antes de dar una respuesta final. En modelos como los de la serie o1 y GPT-6, ese razonamiento es parcialmente visible para el usuario o para los monitores de seguridad. La apuesta de los tres ex-investigadores es que ese razonamiento visible es la principal herramienta que los equipos de seguridad tienen para detectar comportamientos problemáticos: si el modelo está siguiendo un razonamiento que lleva a resultados dañinos, la cadena de pensamiento es la señal de alerta.

Su alegato sostiene dos cosas. Primero: que el estado del arte en interpretabilidad y alineación de modelos de IA no es suficientemente maduro para garantizar que un modelo cuyo razonamiento no puede monitorearse sea seguro. Segundo: que cualquier avance en arquitectura que reduzca la capacidad de monitorear el razonamiento —aunque mejore el rendimiento— debería considerarse un retroceso desde el punto de vista de la seguridad. Los patrones de alucinación en modelos de visión multimodal que nadie corrige todavía son un ejemplo del tipo de comportamiento que el monitoreo de CoT podría detectar antes de que llegue al usuario final.