Diseño de red neuronal que divide el modelo en múltiples subredes especialistas (expertos), activando únicamente las necesarias para cada token para maximizar velocidad y ahorrar costos.
Explicación y Contexto Conceptual
Mixture of Experts (MoE o Mezcla de Expertos) es el diseño arquitectónico de vanguardia adoptado por los modelos de lenguaje más veloces y rentables del mundo, como Mixtral 8x7B, GPT-4 y Gemini 1.5. En una red neuronal densa convencional, cada una de las miles de millones de conexiones de la red se enciende para procesar cada letra o palabra, lo que resulta en un consumo computacional masivo.
En un modelo MoE, la red se subdivide en múltiples capas de 'expertos' temáticos independientes (por ejemplo, 8 expertos especializados en código, razonamiento lógico, redacción persuasiva, traducción, etc.) gobernados por una red de enrutamiento inteligente (Gating Network).
Cuando entra una palabra, el enrutador selecciona únicamente a los 2 mejores expertos para procesarla. Esto permite que un modelo tenga la capacidad y conocimiento de una red de 50 mil millones de parámetros pero con la velocidad de inferencia y el bajo costo de token de un modelo de solo 13 mil millones.
Ejemplo en la Práctica
Al procesar una consulta de análisis de datos de marketing, la red MoE activa solo a los expertos matemáticos y de analítica, reduciendo el tiempo de respuesta a la mitad.