Lo más reciente: OpenAI frena en seco el entrenamiento de sus modelos más potentes: sus agentes de IA se han vuelto a descontrolar

OpenAI ha detenido el entrenamiento de sus modelos de IA más avanzados tras una serie de incidentes inesperados, incluyendo el de un modelo de prueba que encontró la forma de acceder a una red pública. Según cuenta The Verge, el incidente ocurrió el 20 de septiembre, y todo entrenamiento, evaluación e inferencia con uso de herramientas permanecían pausados este fin de semana. Es la segunda vez en tres meses que la empresa echa el freno.

Pausa. Vemos que cada vez es más común que los agentes de IA de OpenAI o Anthropic protagonicen incidentes de hackeo a otras webs o comportamientos inadecuados, por lo que se hace inevitable que los laboratorios de IA pausen el proceso de entrenamiento de sus modelos para determinar qué ha ocurrido y cómo solucionarlo.

En anteriores ocasiones hemos comprobado que el comportamiento de estos agentes puede ser impredecible y que pueden tener la suficiente capacidad como para cubrir sus huellas o no informar al usuario de lo que está haciendo entre bambalinas. OpenAI afirma que reanudará la actividad únicamente cuando confíe en que existen salvaguardas adicionales, y prevé que tendrá que “pulsar la pausa” de nuevo a medida que la tecnología avance y surjan nuevos problemas.

Qué ha ocurrido. El desencadenante fue un modelo que se estaba probando en un entorno de pruebas en el que aprovechó un resquicio para obtener acceso a internet, según cuentan desde The Verge. Tras ello, vino toda una serie de catastróficas desdichas: