¿Se presentarán los nuevos motores de consulta y enfoques de Data Lakehouse?
Con el enfoque Zero ETL y nuevos servicios como Google BigLake o el lema Open Lakehouse de Snowflake, aparece una nueva era en el almacenamiento de datos. Ahora se dice una nueva palabra. Análisis entre nubes está mejorando cada vez más.
El año pasado y probablemente este año, el enfoque Zero ETL será un tema candente en ciencia e ingeniería de datos y puede estar respaldado por nuevos servicios y herramientas entre nubes.
Este año, Google presenta un nuevo término de moda: Cross Cloud Analytics: es una consulta de datos con un motor de consulta directamente en otros servidores y almacenamiento en la nube. Ya en 2022, Google nos ofreció Google BigLake donde se pueden consultar, por ejemplo, S3 y Azure Blob Storage con BigQuery SQL.
El enfoque Zero ETL sigue dos enfoques diferentes:
- Consulta datos directamente en otras fuentes de datos a través de un motor de consultas SQL.
- O utilice una herramienta de integración de datos integrada en su almacén de datos o Lakehouse e integre datos sin codificar la canalización de datos.
Lo que es más adecuado para sus casos de uso, pero también para la potencia informática y los costos, facilitan tanto la integración como la transformación de datos, especialmente para los ingenieros de datos. Con Cross Cloud Analytics, especialmente el primer enfoque cobrará impulso. En este caso, almacena sus datos en instancias de nube, locales e incluso de servidor y utiliza un motor de consulta para consultarlos. Antes de eso, esto era muy complicado porque era necesario implementar algún tipo de lógica empresarial al consultar los datos directamente. En el Data Warehouse clásico, primero integrarás, limpiarás y transformarás datos, además de mantener…