Técnica de entrenamiento ultraeficiente que congela los pesos principales del modelo de IA y solo entrena pequeñas matrices de adaptación de bajo rango, ahorrando memoria y costo.
Explicación y Contexto Conceptual
LoRA (Low-Rank Adaptation), desarrollada por investigadores de Microsoft, transformó radicalmente la personalización de modelos de inteligencia artificial generativa. Reentrenar un modelo completo de miles de millones de parámetros exige granjas masivas de servidores GPU con costos prohibitivos para la mayoría de las empresas.
LoRA soluciona esto con una elegante solución de álgebra lineal: mantiene congelados todos los pesos de la red neuronal original e inserta dos pequeñas matrices de bajo rango (matrices A y B) en las capas de atención. En lugar de actualizar 70 mil millones de pesos, solo se entrenan unos pocos millones (generalmente menos del 1% del modelo).
En la generación visual con Stable Diffusion y Midjourney, los archivos LoRA se convirtieron en el estándar predilecto de las marcas: un pequeño archivo de solo 100 megabytes que enseña a la IA a dibujar con exactitud el empaque de un producto, un personaje publicitario (mascota de marca) o un estilo fotográfico característico.
Ejemplo en la Práctica
Una marca de refrescos entrena un LoRA de 150 MB con 30 fotos de su nueva botella; ahora su equipo creativo puede generar anuncios ubicando la botella exacta en cualquier escenario del mundo.