La integración zero-ETL de Amazon Aurora MySQL con Amazon Redshift ya está disponible de forma generalizada

Nov. 9, 2023 – En Esta es una publicación de blog reciente de Donnie Prakoso, un destacado defensor de los desarrolladores. AWS, revela una guía práctica para utilizar la nueva integración ETL cero de Amazon Aurora MySQL disponible públicamente con Amazon Redshift. La propuesta de valor de Donnie es esta integración que simplifica los canales de datos, acelerando el flujo de datos desde bases de datos transaccionales hasta inteligencia empresarial procesable.


«Los datos están en el centro de cada aplicación, proceso y decisión empresarial», escribió Swami Sivasubramanian, vicepresidente de bases de datos, análisis y aprendizaje automático de AWS, y no podría estar más de acuerdo. Un ejemplo común que los clientes utilizan hoy en día es la creación de canalizaciones de datos para trasladar datos de Amazon Aurora a Amazon Redshift. Estas soluciones les ayudan a obtener información para aumentar las ventas, reducir costos y optimizar sus negocios.

Para ayudarlo a concentrarse en crear valor a partir de los datos en lugar de prepararlos para el análisis, estamos integrando Amazon Aurora zero-ETL con Amazon Redshift en AWS:Invent 2022 y en una vista previa pública de Amazon Aurora anunciamos la compatibilidad con MySQL en junio de 2023.

Ahora disponible con carácter general: integración zero-ETL de Amazon Aurora MySQL con Amazon Redshift

Hoy anunciamos la disponibilidad general de Amazon Aurora MySQL zero-ETL con Amazon Redshift. Con esta solución totalmente administrada, ya no necesita crear y mantener canales de datos complejos para extraer información urgente de sus datos transaccionales para informar decisiones comerciales críticas.

Esta integración ETL cero entre Amazon Aurora y Amazon Redshift le abre oportunidades para ejecutar análisis y aprendizaje automático (ML) en petabytes de datos almacenados en Amazon Redshift. Una vez que estos datos se escriban en Aurora, estarán disponibles en Amazon Redshift en cuestión de segundos.

También le permite ejecutar análisis agregados desde múltiples clústeres de bases de datos Aurora MySQL en Amazon Redshift para obtener información integral sobre múltiples aplicaciones o particiones. La integración zero-ETL de Amazon Aurora MySQL con Amazon Redshift permite más de 1 millón de transacciones por minuto (equivalente a 17,5 millones de operaciones de inserción/actualización/eliminación de filas por minuto) a múltiples bases de datos de Aurora en menos de 15 segundos que proporciona Amazon Redshift (latencia p50).

Además, puede aprovechar las capacidades de aprendizaje automático y análisis integradas de Amazon Redshift, como vistas materializadas, intercambio de datos entre regiones y acceso federado a múltiples almacenes y lagos de datos.

Empecemos

En este artículo, destacaré algunos pasos con información sobre cómo comenzar fácilmente. Usaré mi base de datos sin servidor Amazon Aurora MySQL existente y el almacén de datos de Amazon Redshift.

Para comenzar, debo ir a Amazon RDS y seleccionar la integración zero-ETL en la página de integraciones Zero-ETL.

En la página Crear integración Zero-ETL, debo seguir algunos pasos para configurar la integración para mi clúster de base de datos de Amazon Aurora y mi almacén de datos de Amazon Redshift.

Primero, especifico una ID para mi integración y selecciono Siguiente.

En la página siguiente, necesito seleccionar la base de datos de origen seleccionando Explorar bases de datos RDS.

Aquí puedo seleccionar mi base de datos existente como fuente.

El siguiente paso me pregunta cuál es el almacén de datos de Amazon Redshift de destino. Aquí tengo la flexibilidad de elegir el almacenamiento de datos Amazon Redshift Serverless o RA3 en mi cuenta o en una cuenta separada. Elijo Explorar los almacenes de datos de Redshift.

A continuación, selecciono el almacén de datos de destino.

Dado que Amazon Aurora debe replicarse en el almacén de datos, debemos agregar otra política de recursos y agregar la base de datos de Aurora como fuente de integración autorizada al almacén de datos de Amazon Redshift.

Puedo solucionar este problema actualizándolo manualmente en la consola de Amazon Redshift o dejando que Amazon RDS lo solucione por mí. Marco la casilla de verificación.

En la página siguiente me muestra los cambios que Amazon RDS hará por nosotros. Elijo Continuar.

En la página siguiente, puedo configurar etiquetas y cifrado. De forma predeterminada, la integración ETL cero cifra sus datos mediante AWS Key Management Services (AWS KMS) y tengo la opción de usar mi propia clave.

A continuación, necesito revisar todas las configuraciones y seleccionar la integración ETL cero para crear la integración.

Después de unos minutos, mi integración ETL cero se creó correctamente. Luego, voy a Amazon Redshift y, en la página de integraciones Zero-ETL, puedo ver que recientemente creé mi integración zero-ETL.

Dado que la integración aún no tiene una base de datos de destino dentro de Amazon Redshift, necesito crear una.

La configuración de integración ahora está completa. En esta página puedo ver que el estado de integración está activo y hay una tabla que se ha duplicado.

Para probar, creo una nueva tabla en mi base de datos de Amazon Aurora e inserto un registro en esta tabla.

Luego cambié al editor de consultas Redshift v2 dentro de Amazon Redshift. Aquí puedo crear una conexión a la base de datos que creé como parte de la integración. Al ejecutar una consulta simple, puedo ver que mis datos ya están dentro de Amazon Redshift.

Esta integración ETL cero me pareció muy conveniente por dos razones. Primero, puedo integrar todos los datos de múltiples conjuntos de bases de datos y analizarlos en profundidad. En segundo lugar, a los pocos minutos de escribir los datos en Amazon Aurora MySQL, esta integración ETL cero entregó datos sin problemas a Amazon Redshift.

Cosas que saber

Disponibilidad: la integración zero-ETL de Amazon Aurora con Amazon Redshift en EE. UU. Este (Ohio), EE. UU. Este (Norte de Virginia), EE. UU. Oeste (Oregón), Asia Pacífico (Singapur), Asia Pacífico (Sídney), Asia Pacífico (Tokio) es allá. ), Europa (Frankfurt), Europa (Irlanda) y Europa (Estocolmo).

Motores de base de datos compatibles: la integración zero-ETL de Amazon Aurora con Amazon Redshift ahora admite versiones compatibles con MySQL de Amazon Aurora. La compatibilidad con la edición compatible con Amazon Aurora PostgreSQL es un trabajo en progreso.

Precios: la integración zero-ETL de Amazon Aurora con Amazon Redshift se proporciona sin costo adicional. Usted paga por los recursos existentes de Amazon Aurora y Amazon Redshift que se utilizan para crear y procesar los datos de cambio creados como parte de la integración de ETL cero.

Estamos un paso más cerca de ayudarle a centrarse más en crear valor a partir de los datos en lugar de prepararlos para el análisis. Para obtener más información sobre cómo empezar, visite Integración de ETL cero de Amazon Aurora MySQL con la página de Amazon Redshift.

¡Buena integración!


Fuente: Donnie Prakoso, AWS

Puede interesarte

La nueva guía GDPR para startups · Data Ethics Think Tank

Un nuevo libro sobre cómo lograr un cumplimiento eficaz del RGPD para las empresas emergentes …

Deja una respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *