Es noticia: Quién vigila al vigilante: los límites de Pangram como árbitro de lo que es IA y lo que no | Análisis Radar

El 23 de octubre, El País publicó que el detector Pangram atribuye a una IA el 99% de ‘Donde el agua trabaja’, ganadora de un premio cuyas bases prohibían usar IA. El autor lo niega y la editorial suspendió las presentaciones mientras revisa el caso. Igual que la obra de Thélyson Orélien 'C'était ça ou mourir' ('Era eso o morir'), la novela de David Silva Roja se centra en la explotación, en el dolor y en la memoria. Fue elegida entre 2.204 manuscritos de 22 países por "la sutileza de su escritura y por el uso magistral de los silencios como recurso compositivo". 

En cualquier caso, se ha llevado los 20.000 euros a los que aspiraba el Premio Internacional de Novela Breve Almadía–Ventosa Arrufat y ya está siendo traducida. Y también se han cancelado varias de sus presentaciones. Por supuesto, no vamos a decidir aquí si la novela es o no fruto de la IA. Porque, en realidad, es difícil de valorar. La cuestión es otra: en pocos meses, el programa de una empresa privada se ha convertido en juez de facto de la autoría literaria. ¿Es Pangram el árbitro que necesitamos?

Pangram es un clasificador de redes neuronales entrenado con texto humano y texto generado por modelos, con técnicas para reducir los falsos positivos. Puntúa por fragmentos y devuelve un porcentaje: una estimación de cuánto se parece un texto a lo que escribiría una máquina, no una reconstrucción de cómo se escribió.

Según la propia empresa, Pangram 4 detecta el 99,66 % del texto de IA y marca por error el 0,0041 % del humano, un fallo cada 24.000 documentos. Y no lo dice solo la empresa: un estudio de la Universidad de Chicago lo situó por encima de GPTZero y Originality.ai, y El País comprobó que daba 0% en libros anteriores a ChatGPT. En el caso del Goncourt, se confirmó después que el autor había usado IA.