Las pilas de datos modernas constan de varias herramientas y marcos para procesar datos. Por lo general, ser谩 una gran colecci贸n de diferentes recursos en la nube cuyo objetivo es transformar los datos y llevarlos a un estado en el que podamos crear informaci贸n valiosa. Gestionar la multitud de estos recursos de procesamiento de datos no es una tarea f谩cil y puede parecer abrumadora. Lo bueno es que los ingenieros de datos inventaron la llamada soluci贸n. infraestructura como c贸digo. B谩sicamente, es la codificaci贸n la que nos ayuda a implementar, aprovisionar y administrar todos los recursos que podamos necesitar en nuestras canalizaciones de datos. En esta historia, quiero analizar t茅cnicas populares y marcos existentes que tienen como objetivo simplificar la adquisici贸n de recursos y la implementaci贸n de canales de datos. Recuerdo cu谩n temprano en mi carrera de datos sol铆a administrar recursos de datos utilizando la interfaz de usuario web, es decir, dep贸sitos de respaldo, roles de seguridad, etc. se realizan mediante programaci贸n utilizando plantillas y c贸digo.
Pilas de datos modernas
驴Qu茅 ser谩: Modern Data Stack (MDS)? Las tecnolog铆as utilizadas espec铆ficamente para organizar, almacenar y manipular datos ser谩n lo que constituir谩 una base de datos moderna (1). Esto es lo que ayuda a dar forma a una plataforma de datos innovadora y exitosa. Recuerdo que plante茅 esta discusi贸n en una de las historias anteriores.
Un plan de plataforma de datos simplificado suele tener este aspecto:
Por lo general, se necesitan docenas de fuentes de datos diferentes y recursos de plataformas en la nube para procesarlos.
Los tipos de arquitectura de plataforma de datos pueden depender de las necesidades funcionales y comerciales, las habilidades de nuestros usuarios, etc. Pero, en general, el dise帽o de infraestructura implica muchos procesos de datos…