En perspectiva: Por qué la IA «se olvida» de lo que le dijiste al principio: tokens y ventana de contexto sin jerga
Imagina una conversación larga con un chatbot. Al empezar le pides que escriba siempre en tono formal y sin emojis. Cuarenta mensajes después, el tono se ha relajado y aparece el primer emoji. No es mala educación ni un fallo puntual: es cómo funcionan estos modelos.
TL;DR: un modelo de lenguaje solo «ve» una cantidad limitada de texto a la vez, que se mide en tokens y se llama ventana de contexto. Aunque esa ventana sea enorme, la atención del modelo no se reparte por igual: rinde mejor con lo que está al principio y al final, y peor con lo que queda en medio. Esta guía explica las dos ideas en lenguaje llano y termina con seis hábitos para que no se te escapen instrucciones importantes.
Un token es el trozo en el que el modelo corta el texto antes de procesarlo. Según la documentación de OpenAI, una palabra corta y común como «the» es un solo token, mientras que «tokenization» se parte en «token» e «ization». No es lo mismo que una palabra.
Las equivalencias oficiales son aproximadas y están calculadas para inglés:
Serás redirigido al portal original.