Plataforma distribuida de transmisión de eventos de alto rendimiento capaz de procesar billones de registros de publicidad por segundo con latencia de milisegundos.
Explicación y Contexto Conceptual
Apache Kafka es la columna vertebral de la transmisión de datos a escala de internet en las grandes plataformas de medios, AdTech y comercio electrónico. Originalmente desarrollado por LinkedIn y donado a la Apache Software Foundation, Kafka opera como un registro de confirmación distribuido (distributed commit log) particionado e inmutable.
En un ecosistema publicitario, Kafka desacopla a los productores de eventos (servidores web que emiten impresiones de anuncios, SDKs móviles que registran clics, pasarelas de pago) de los sistemas consumidores (motores de detección de fraude en tiempo real, almacenes de datos analíticos, modelos de puja algorítmica). Los eventos se publican en 'topics' (temas) y se retienen en disco de forma durable y tolerante a fallos, permitiendo que múltiples aplicaciones lean el mismo flujo a diferentes velocidades sin sobrecargar las fuentes.
Soporta escenarios de millones de eventos por segundo con latencias inferiores a los 10 milisegundos.
Ejemplo en la Práctica
Una plataforma de streaming emite billones de eventos de reproducción de video a Kafka para calcular en tiempo real el cobro por segundo publicitario consumido.