Cloudflare reduce el retraso de DNS a la mitad y baja 85% la memoria
Por JP Software ·
JP Software Cloudflare implementó un nuevo planificador de compilaciones dirigidas y un despachador unificado en su Zone Builder, el componente encargado de transformar modificaciones de registros y configuraciones en datos para sus servidores autoritativos. La mejora optimiza el flujo para zonas que superan los 20 millones de registros y reduce de forma drástica el consumo de recursos.
Datos clave
- Las compilaciones completas de zonas DNS cayeron un 40%, según Cloudflare.
- El uso de memoria pico del sistema bajó un 85%, pasando de 79 GiB a 12 GiB.
- El pico máximo de retraso en el percentil 99 (p99) se redujo de 14.6 minutos a 1.21 minutos.
- Un 92.95% de las compilaciones en 24 horas evitaron reconstruir la zona completa.
El problema de reconstruir zonas completas
El Zone Builder recibe actualmente cerca de 700 cambios de registros por segundo y unos 100 eventos de ajustes generales. Anteriormente, muchas modificaciones de configuración provocaban una compilación completa, lo que obligaba a leer y codificar todos los registros del dominio en memoria para luego compararlos contra Quicksilver, su almacén distribuido de clave-valor.
En zonas con decenas de millones de registros, este volumen superaba la memoria disponible y demoraba el avance de los desplazamientos (offsets) en Kafka. Si un proceso fallaba o tardaba demasiado, retenía los mensajes posteriores de la misma partición, generando ráfagas de consumo irregulares y retrasando actualizaciones críticas.
Planificación dirigida y despachador unificado
Para solucionar el atasco, el equipo clasificó el impacto de cada evento en cinco tipos de trabajo: solo recursos, recursos y metadatos, apex y metadatos, purga o reconstrucción completa. Si una modificación no altera la totalidad del dominio, el sistema procesa únicamente los nombres afectados o su clave compartida de metadatos.
Asimismo, un nuevo despachador unificado combina eventos encolados para la misma zona antes de iniciar el procesamiento. De esta manera, si coinciden cambios sobre distintos registros bajo un mismo dominio, se ejecutan en una única pasada sin duplicar llamadas ni bloquear la cola de eventos.
Validación mediante entornos en espejo
Para garantizar que las compilaciones dirigidas generaran exactamente la misma salida a nivel de bytes que una reconstrucción total, Cloudflare utilizó pruebas de equivalencia y un despliegue en espejo. Este entorno paralelo consumió el flujo real de eventos de producción y escribió en una instancia aislada de Quicksilver, permitiendo comparar los resultados de miles de dominios antes de habilitar el cambio a los clientes de forma gradual.
Por qué te importa
En arquitecturas orientadas a eventos, asumir que cualquier cambio requiere regenerar el estado global termina colapsando la infraestructura conforme crecen los clientes. Este caso demuestra que invertir en granularidad sobre los eventos y validar de forma estricta el trabajo mínimo necesario permite multiplicar el rendimiento y recortar costos operativos sin comprometer la consistencia de los datos.