Colin Douch detalla los costos reales de alojar tu propia observabilidad
Por JP Software ·
JP Software Colin Douch, especialista con experiencia en infraestructura dentro de organizaciones como Cloudflare y DuckDuckGo, expuso los retos técnicos y operativos de implementar una arquitectura de observabilidad autohospedada. La decisión de abandonar servicios comerciales como Datadog o Splunk suele surgir tras el incremento en las facturas, pero administrar este software de forma interna traslada esa carga financiera al tiempo y mantenimiento del equipo de ingeniería.
Datos clave
- Operar un stack propio requiere destinar al menos dos o tres ingenieros de tiempo completo, según Colin Douch.
- En Prometheus, cada serie temporal activa dentro del búfer de memoria de dos horas (head chunk) consume cerca de 4 kilobytes, según mediciones de Cloudflare.
- Thanos y Mimir resuelven el límite de retención local enviando métricas a almacenamiento de objetos, utilizando el sistema de escritura remota o sidecars.
El rol de los exemplars en las métricas
La correlación de datos es la pieza más difícil al construir observabilidad sin herramientas comerciales. Aunque bases de series temporales como VictoriaMetrics ofrecen mayor eficiencia al escalar y procesar datos, Prometheus mantiene una ventaja técnica mediante el uso de exemplars dentro del estándar OpenMetrics.
Un exemplar permite asociar un conjunto secundario de etiquetas que cambia dinámicamente sin generar series temporales adicionales. Cuando ocurre un pico de fallos en un servicio, el exemplar anexa el identificador de la petición (trace ID) directo a la métrica. Esto permite que interfaces como Grafana salten con un clic desde el gráfico del incidente hacia la traza exacta que explica el error.
Logs estructurados y registro canónico
El texto plano y la búsqueda sobre texto completo en herramientas tradicionales como Elasticsearch presentan límites de rendimiento cuando se utilizan comodines o expresiones regulares complejas. Además, los topes a los esquemas dinámicos pueden degradar la velocidad de ingesta de eventos.
Para evitar que cada función disperse mensajes inconexos, el enfoque recomendado es el registro canónico (canonical logging). Esta práctica agrupa el contexto de ejecución a lo largo de una función o endpoint HTTP y emite un solo evento enriquecido en formato estructurado al finalizar la tarea. Almacenar estos eventos en motores columnares facilita consultar datos sin necesidad de definir índices estáticos previos.
Por qué te importa
Construir una plataforma de observabilidad propia no es un proyecto de fin de semana con un servidor barato. Si tu equipo no cuenta con personal dedicado exclusivamente a dar mantenimiento a Prometheus, VictoriaMetrics o almacenamiento de trazas, el costo en salarios e incidentes no atendidos superará el costo de licencias externas. Entender estas dependencias te permite evaluar de forma realista cuándo tu volumen o requerimientos de auditoría justifican asumir esa complejidad.