Una gu铆a para la infraestructura de ingenier铆a de datos | por 馃挕Mike Shakhomirov | enero, 2024

Automatizar el abastecimiento con herramientas modernas

馃挕Mike Shakhomirov
Hacia la ciencia de datos
Foto de Ehud Neuhaus en Unsplash

Las pilas de datos modernas constan de varias herramientas y marcos para procesar datos. Por lo general, ser谩 una gran colecci贸n de diferentes recursos en la nube cuyo objetivo es transformar los datos y llevarlos a un estado en el que podamos crear informaci贸n valiosa. Gestionar la multitud de estos recursos de procesamiento de datos no es una tarea f谩cil y puede parecer abrumadora. Lo bueno es que los ingenieros de datos inventaron la llamada soluci贸n. infraestructura como c贸digo. B谩sicamente, es la codificaci贸n la que nos ayuda a implementar, aprovisionar y administrar todos los recursos que podamos necesitar en nuestras canalizaciones de datos. En esta historia, quiero analizar t茅cnicas populares y marcos existentes que tienen como objetivo simplificar la adquisici贸n de recursos y la implementaci贸n de canales de datos. Recuerdo cu谩n temprano en mi carrera de datos sol铆a administrar recursos de datos utilizando la interfaz de usuario web, es decir, dep贸sitos de respaldo, roles de seguridad, etc. se realizan mediante programaci贸n utilizando plantillas y c贸digo.

Pilas de datos modernas

驴Qu茅 ser谩: Modern Data Stack (MDS)? Las tecnolog铆as utilizadas espec铆ficamente para organizar, almacenar y manipular datos ser谩n lo que constituir谩 una base de datos moderna (1). Esto es lo que ayuda a dar forma a una plataforma de datos innovadora y exitosa. Recuerdo que plante茅 esta discusi贸n en una de las historias anteriores.

Un plan de plataforma de datos simplificado suele tener este aspecto:

Plan de plataforma de datos simplificado. Foto del autor.

Por lo general, se necesitan docenas de fuentes de datos diferentes y recursos de plataformas en la nube para procesarlos.

Los tipos de arquitectura de plataforma de datos pueden depender de las necesidades funcionales y comerciales, las habilidades de nuestros usuarios, etc. Pero, en general, el dise帽o de infraestructura implica muchos procesos de datos…

Puede interesarte

Se nota bien en el marco retr贸grado de cualquiera.

驴禄La misma vieja defensa, diferente trono禄? Tuve que verificar dos veces para ver si la …

Deja una respuesta

Tu direcci贸n de correo electr贸nico no ser谩 publicada. Los campos obligatorios est谩n marcados con *