Recientemente necesitaba una herramienta de almacenamiento de datos para mi nuevo proyecto de datos. Esta historia trata sobre cómo lo reconstruí y organicé todo lo que hay en él. Diseñar una plataforma de datos no es una tarea fácil y, a menudo, las soluciones modernas de almacenamiento de datos están en el centro de su arquitectura. Proporciona funciones sólidas de gestión de datos, consultas de datos simplificadas mediante ANSI SQL y capacidades mejoradas de modelado de datos. Organizar todo internamente, es decir, entornos de datos, pruebas, convenciones de nomenclatura, bases de datos, esquemas y tablas, puede ser una tarea difícil debido a la gran cantidad de fuentes de datos y la complejidad de las transformaciones necesarias. Esta historia puede resultar útil para usuarios principiantes e intermedios que quieran aprender técnicas avanzadas de almacenamiento de datos. Con profesionales de datos experimentados, me gusta discutir lo que piensan sobre el diseño del almacén de datos y cómo normalmente organizarían todo lo que hay dentro.
Diseñando una plataforma de datos
Como ingeniero de datos, diseño canales de datos todos los días. De esto se trata la plataforma de datos moderna y debe ser rentable, escalable y simple a largo plazo. Diseñar canales para aplicaciones con uso intensivo de datos siempre es un desafío e innovación almacén de datos (DWH) tiene como objetivo simplificar este proceso y mejorar el fácil acceso a los datos, mejores capacidades de gestión de datos y transformaciones de datos simples necesarias para el análisis y la inteligencia empresarial.
Cuando los usuarios desean acceder y explorar datos y tienen una necesidad comercial de generar informes, siempre tiene sentido utilizar DWH en nuestra plataforma de datos. Los almacenes de datos modernos facilitan el acceso y la gestión de datos y creo que esta es una parte esencial de cualquier plataforma de datos moderna. Ya he planteado esta discusión aquí (1):
Elegí usar el lago de datos como permanente. área de aterrizaje y preparar los datos antes de cargarlos en el almacén de datos. Los proveedores de servicios en la nube ofrecen almacenamiento en la nube…