Protocolo de validación donde el modelo econométrico se entrena con un período histórico de datos y se evalúa su capacidad predictiva sobre un período posterior no visto.
Explicación y Contexto Conceptual
El Out-of-Sample Testing (pruebas fuera de muestra o validación en datos no vistos) es la salvaguarda metodológica indispensable para prevenir el fenómeno del sobreajuste (overfitting) en la econometría publicitaria. Un error común de analistas inexpertos es calibrar un modelo que se ajusta a la perfección milimétrica a los datos con los que fue entrenado ('in-sample fit'), pero que fracasa estrepitosamente al intentar predecir las ventas de los meses siguientes.
El protocolo consiste en dividir la serie histórica en dos bloques temporales: el conjunto de entrenamiento (train set, por ejemplo, las primeras 120 semanas de datos) y el conjunto de prueba fuera de muestra (test set o holdout temporal, por ejemplo, las últimas 16 semanas).
El modelo se calibra exclusivamente con las semanas de entrenamiento y luego se le instruye para predecir las ventas de las 16 semanas restantes basándose únicamente en la pauta de medios emitida en ese período. Si el error MAPE fuera de muestra se mantiene bajo, el modelo demuestra que ha capturado verdaderos patrones causales y no simple ruido.
Ejemplo en la Práctica
Se entrenó el MMM con datos de 2022 a 2024 y se probó en el primer trimestre de 2025; el modelo predijo las ventas reales del trimestre con un margen de error de solo el 3.8%.