Charla real: ¿Por qué Datadog es tan caro?

vi mucho X (anteriormente conocido como Twitter), Reddit y HackerNews han estado discutiendo recientemente las altas tarifas de Datadog. Es un tema tan candente que los ingenieros están publicando blogs sobre sus enfoques para las métricas de casting brutales.

¿Pero como llegamos aquí? ¿Por qué estos costos son tan altos? ¿Por qué las empresas pagan más por su seguimiento que por su infraestructura de producción? Ha habido muchas acusaciones y acusaciones de bloqueos corporativos y avaricia, que sin duda tienen parte de culpa.

Existe un problema fundamental mayor: los cambios arquitectónicos fundamentales que vienen con la adopción de infraestructura en contenedores y aplicaciones de microservicios. Si no entendemos y solucionamos este problema, la historia se repetirá.

Divulgación: trabajo para un concurso de Datadog

Bien, así es, trabajo para Chronosphere, una empresa que compite con Datadog. Prometo que este artículo no le desanimará acerca de nuestro producto. Datadog es un competidor fuerte y lo he visto construir un negocio increíble a lo largo de los años.

Mi empresa anterior fue un socio cercano de Datadog entre 2015 y 2018, y vimos su crecimiento meteórico, que estábamos ansiosos por emular. Al mismo tiempo, he visto a los clientes de Datadog sentirse cada vez más frustrados con los costos altos e inesperados, pero sintieron que no podían irse.

Esta fue en parte la razón por la que me uní a Chronosphere en 2021, porque vi que esta tendencia llegaba a un punto crítico. Antes de unirme a este espacio, hice algunas evaluaciones comparativas y análisis de mercado y descubrí que el monitoreo tiene la mayor dependencia de los costos de infraestructura: por cada dólar que gastas en la nube pública, probablemente gastas entre 0,25 y 0. Gastas $0,35 en el monitor. Esto me pareció un mercado de fracaso.

El verdadero culpable: el crecimiento de los datos

La causa fundamental del problema es simple: existe un muchos Más monitoreo de datos (métricas, registros, seguimientos y eventos) de lo que estas herramientas jamás habían anticipado. Como tales, no son arquitectónicos ni rentables para esta cantidad de datos. Hay muchas razones por las que terminamos con tanta información.

Impulsores del negocio:

1. Transformación digital: La integración de la tecnología en más sectores empresariales naturalmente conlleva más datos para monitorear el estado del sistema y optimizar las operaciones generales del sistema.
2. Altas expectativas de los clientes con mayores riesgos: Según el Informe de confiabilidad en línea de 2023, en promedio, los estadounidenses soportan de uno a cuatro incidentes de falta de confiabilidad o interrupciones en una aplicación o sitio web antes de cambiar a un competidor. Ejecutar servicios de alto rendimiento y alta disponibilidad que brinden una experiencia de cliente excepcional requiere datos de monitoreo detallados.
3. Recopilación de datos: Puede ser difícil saber qué datos son útiles cuando se obtienen tantos minuto a minuto. Sin las herramientas adecuadas para analizarlos, puedes caer en la trampa de «nunca sé cuándo necesitaré estos datos» y obtener más datos de los necesarios.

Controladores técnicos:

1. Más datos de telemetría generados por contenedores y microservicios: Los entornos nativos de la nube (es decir, contenedores y microservicios) tienen ventajas significativas, pero naturalmente generan más datos porque es necesario monitorear el estado de cada componente y servicio. Por ejemplo, cada contenedor y microservicio ahora emite tantos datos de monitoreo como lo hizo cada máquina virtual (VM) y aplicación monolítica. Pero ahora, en lugar de docenas de máquinas virtuales y algunas aplicaciones, tienes miles de contenedores y docenas de microservicios.
2. Dimensiones de algunos entornos nativos de la nube: Por diseño, la nube nativa está descentralizada (y los equipos de ingeniería pueden poner en marcha componentes rápidamente), lo que significa que aumenta la cantidad de servicios y contenedores que generan datos.

Este crecimiento de datos hace que aumenten los costos de seguimiento. Sin cambiar los modelos de precios o el software para tener en cuenta el crecimiento de los datos (y capturar valor basado en estándares de seguimiento heredados), las arquitecturas nativas de la nube de repente se volvieron sorprendentemente caras.

¿Por qué Datadog simplemente no baja sus precios?

Sospecho que hay dos razones para esto:

1. Valor para el accionista: La empresa Datadog ha tenido un desempeño fenomenal en los últimos años. Si baja los precios, afectará inmediatamente las ganancias, lo que afectará las ganancias reportadas, lo que hará que el precio de las acciones caiga.
2. Costo de los bienes vendidos: Datadog ha pasado por tres generaciones de arquitectura, y su última, Husky, se lanzará en 2022. ) y llevar los márgenes a un lugar saludable. Dado que Datadog probablemente no invertirá en otra infraestructura en el corto plazo, no se comprometerá a bajar sus precios.

Alternativas a Datadog

Hay varias opciones si no quieres pagar por Datadog.

#1: Código abierto de bricolaje

Una alternativa interesante es ejecutar su propio monitoreo interno con herramientas de código abierto. La buena noticia es que, al menos en lo que respecta a las métricas y el seguimiento, las herramientas de código abierto han avanzado mucho y se están integrando en estándares aceptados por la industria. Prometheus y OpenTelemetry son alternativas viables a Datadog con varios backends de datos de series temporales (Mimir, Thanos o M3).

Pero es importante tener en cuenta que, por lo general, esto no le permitirá ahorrar dinero en dólares reales. Simplemente intercambia CapEx por OpEx. El costo humano y de infraestructura que implica operar estos sistemas no es pequeño, y si intenta tomar atajos, es posible que se arrepienta.

Hace poco estuve hablando con un amigo mío que sacó su empresa de un costoso SaaS comercial que ofrecía herramientas internas de código abierto. Admitió que la empresa realmente no gana dinero si considera el hecho de que alrededor del 8% de su plantilla de desarrolladores se dedica ahora a ejecutar este sistema.

#2: El dispositivo de monitoreo de próxima generación

Esta no es la parte donde les presento el producto de mi empresa. Aquí diré que desde el principio las herramientas se construyen en base al crecimiento de los datos. El coste de la solución siempre está en manos del cliente, por lo que no recibirás extras sorpresa.

Así como Datadog, New Relic y herramientas similares desplazaron a la generación anterior de Solarwinds y BMC y CA Technologies, esta nueva generación de herramientas de monitoreo está comenzando a causar sensación. Hable con estos proveedores y comprenda cómo están lidiando con el problema de monitorear excesivamente los datos desde la fuente en lugar de agruparlos con una mejor economía unitaria.

Decepción

Las altas tarifas de Datadog y la dependencia de proveedores son una especie de mal necesario; Sabe que necesita supervisión, pero no está seguro de todas las opciones. Datadog existe desde hace suficiente tiempo como para parecer una opción viable, a pesar de sus prácticas de facturación y su código propietario. Pero no tiene por qué ser así.

A medida que más empresas de monitoreo ingresan al espacio, también lo hacen las opciones que se crean desde cero para abordar el crecimiento de datos de alta cardinalidad. Aquellos que le brindan más flexibilidad con su infraestructura, control sobre sus datos y más visibilidad de su factura mensual y, en última instancia, configuran equipos de monitoreo para un modelo operativo más sostenible y rentable.