Todas las noticias
Técnica

Cloudflare libera más de 100 TB de RAM al optimizar pingora-ketama

Por JP Software ·

JP Software
Ilustración de la nota: Cloudflare libera más de 100 TB de RAM al optimizar pingora-ketama
JP Software

Cloudflare documentó cómo redujo en más de 100 TB la memoria de su servicio interno de balanceo de carga al optimizar la implementación en Rust del hash consistente en pingora-ketama. Los cambios compactaron las entradas del anillo y redujeron cerca de 90% los hashes por servidor, sin perder precisión en el reparto de carga. Le sirve a quien diseña sistemas distribuidos o escribe Rust.

Datos clave

  • Más de 100 TB de memoria recuperada, según Cloudflare.
  • Reducción de cerca de 90% en el número de hashes por servidor.
  • Los últimos 90000 hashes mejoraban el error solo 0.7%.
  • El Point usaba 8 bytes, aunque hash e índice del servidor caben en 6.

Por qué hacían falta tantos anillos

Cloudflare usa hash consistente en su Pingora Backend Router para repartir peticiones cacheables entre servidores. Soportar servidores con peso y distintas combinaciones de funciones exigía muchos anillos de hash, lo que disparó el uso de memoria. El equipo ubicó el origen en las estructuras de pingora-ketama y revisó su diseño.

Probabilidad para decidir cuántos hashes bastan

Aplicaron teoría de probabilidad para calcular el mínimo de puntos de hash que daba la distribución requerida. Según los ingenieros de Cloudflare:

Each step down in error margin requires (almost) an order of magnitude increase in the number of hashes per server, so adding more hashes yields less and less improvement.

También entra la paradoja del cumpleaños: mientras más puntos hash de 32 bits, más probables son las colisiones, que agregan error de distribución.

Una estructura más compacta en Rust

El Point existente ocupaba 8 bytes, aunque el hash y el índice del servidor se podían representar en 6. Ese ajuste redujo todavía más la memoria.

Despliegue gradual para cuidar el caché

Cambiar el anillo cambia a dónde van algunas peticiones. Aunque el nuevo anillo sea mejor, cambiar toda la red de golpe invalidaría casi todo el contenido en caché y aumentaría mucho el tráfico al origen. Por eso desplegaron la nueva implementación poco a poco, junto a la existente.

Por qué te importa

Si trabajas con balanceo de carga, cachés o estructuras grandes en memoria, la lección es medir cuánta precisión compra cada parámetro. Aquí, más hashes daban mejoras cada vez menores. Y si tocas algo que decide a dónde va el tráfico, planea el cambio como migración gradual.

Comparte esta nota