Reducir el tiempo de descarga de la base de datos • El Registro

Propiedad del patrocinador Cuando se desarrollaron por primera vez los almacenes de datos, la gente los utilizó para respaldar las decisiones: el tipo de decisiones que se toman en las salas de juntas cada mes o trimestre. Hoy en día, se generan cada pocos milisegundos, lo que desdibuja significativamente la línea entre los almacenes de datos y los sistemas operativos.

De hecho, los dos son cada vez más lo mismo, lo que significa que nuestra tolerancia al almacenamiento de datos disminuye. Entonces, ¿cómo podemos reducirlo?

Este mes, Amazon Redshift lanzó una solución de alta disponibilidad que abarca múltiples zonas de disponibilidad (AZ) de AWS en una única región de AWS y puede ayudar a lograr precisamente eso. Desarrollado para los clústeres RA3 Redshift de la empresa, promete reducir drásticamente el riesgo de mantenimiento para cargas de trabajo de misión crítica en Redshift. Hablamos con Saurav Das, gerente senior de productos de Amazon Redshift, para descubrir cómo funciona.

En cualquier trabajo existe el riesgo de interrupción. Lo que cambia es la tolerancia del cliente a ese riesgo, en función de factores que incluyen su tamaño, su caso de uso y otras cuestiones como las responsabilidades regulatorias. Muchas de estas cargas de trabajo son críticas para el negocio, afirma Das; una interrupción de hasta una hora puede ser un inconveniente para ellos, pero no interrumpirá las operaciones comerciales. Los trabajos con baja tolerancia al riesgo son fundamentales para la misión, afirma, y ​​señala que deben recuperarse en decenas de segundos, no en diez minutos, para mantener las operaciones intactas.

En el pasado, estas cargas útiles de misión crítica eran típicamente comunicaciones. Un sistema de despacho de ambulancias que llama y dirige los vehículos disponibles a una emergencia puede entrar en esta categoría. Las tareas analíticas a menudo requerían menos tiempo. Una empresa financiera podría querer hacer los números para un informe de inteligencia empresarial durante la noche, antes de que suene la campana de la mañana, pero eso no es una misión crítica.

Eso está cambiando, dice Das. «Lo que estamos viendo ahora es que con la explosión de datos, los clientes utilizan cada vez más datos y quieren que estos sistemas estén disponibles 24 horas al día, 7 días a la semana», afirma. Esa aplicación de despacho de ambulancias ahora puede basarse en el análisis de datos de tráfico históricos y en tiempo real, junto con niveles de combustible en tiempo real en vehículos individuales. Puede utilizarlos para determinar el mejor vehículo para atender la emergencia y la mejor ruta a seguir para que la atención médica urgente pueda entregarse de manera oportuna. También puede tener en cuenta datos históricos de eventos para predecir el número probable y la ubicación de las emergencias esa noche. Obliga a los sistemas analíticos.

Amazon Redshift es un servicio de almacenamiento de datos basado en la nube para cargas de trabajo analíticas que estuvo disponible públicamente hace una década y atiende millones de solicitudes analíticas todos los días. Más aún, estas solicitudes provienen de clientes que se verán gravemente afectados y no sólo incómodos si se produce una interrupción.

Amazon Redshift almacena sus datos en Redshift Managed Storage (RMS) respaldado por Amazon S3, que está diseñado para garantizar cero pérdida de datos. Redshift también proporciona múltiples capacidades de recuperación para cualquier falla dentro de una AZ, incluida la copia de seguridad automática para restaurar el almacén de datos y la corrección automática de varias fallas de infraestructura que ocurren detrás de escena sin la interacción del cliente.

Si una zona de integración deja de funcionar, los clientes pueden habilitar la migración del clúster Redshift para mover su clúster a otra AZ sin ningún cambio en la aplicación. Idealmente, esto sólo lleva unos minutos, pero es el método de mejor esfuerzo debido a las limitaciones de capacidad que pueden prolongar el tiempo de recuperación.

Una nueva propuesta de alta disponibilidad

Aquí es donde entra en juego la nueva oferta de alta disponibilidad de Amazon: Instalaciones Multi-AZ. Lanzado este mes, brinda capacidades de conmutación por error de misión crítica a los clústeres de Redshift.

«Los clientes con cargas de trabajo de misión crítica son vulnerables a interrupciones de la infraestructura dentro de la AZ. Aunque son poco comunes, ocurren y estos clientes quieren protección», explica Das. «Esta solución los protegerá y los salvará rápidamente de cortes de infraestructura en Arizona».

Amazon ha desarrollado un servicio de alta disponibilidad que proporciona un clúster Redshift RA3 simultáneamente en dos AZ. Esto permite que el sistema realice una conmutación por error automáticamente sin restricciones de capacidad, ya que la capacidad ya está proporcionada en otra AZ.

Las pruebas previas al lanzamiento han demostrado que las implementaciones de Redshift Multi-AZ reducen el tiempo de recuperación a menos de 60 segundos en el improbable caso de una falla de AZ, explica Das. Amazon Redshift ahora ofrece disponibilidad de tres a nueve (99,9%), lo que se traduce en 43 minutos continuos por mes, añade. Sin embargo, con la implementación Multi-AZ, Amazon Redshift proporciona un tamaño de pedido de cuatro nueves (99,99%), es decir, un máximo de cuatro minutos y medio por mes. Todo sucede sin la intervención del usuario.

¿Cómo hizo Amazon que esto funcionara en la nube? Das dice que la parte más difícil de la instalación fue detectar el «latido del corazón». Este sistema de diagnóstico verifica la infraestructura, recopilando puntos de datos que le indican si todo está funcionando correctamente. Cuando se detecta un problema, Redshift Multi-AZ crea automáticamente una conmutación por error para restaurar la disponibilidad. Como parte de la compilación Multi-AZ, el algoritmo de detección central de Amazon Redshift se mejoró mientras se sometía a extensas pruebas de estrés y de referencia para respaldar un tiempo de recuperación más rápido para implementaciones críticas para los clientes.

Más capacidad, mayor rendimiento

Otro beneficio de implementar Multi-AZ es que duplica el inventario y agrega más, explica Das. «A menudo, en los sistemas de alta disponibilidad, hay un entorno primario y secundario que normalmente permanece ahí y no hace nada», afirma. Este sistema secundario se proporciona únicamente para brindar una mayor disponibilidad y se activa solo cuando ocurre un desastre.

Este lado de la arquitectura activo-pasivo falla rápidamente, porque ya hay una máquina «caliente» esperando. La desventaja es que el cliente paga por el exceso de capacidad que casi siempre no se utiliza.

Redshift Multi-AZ proporciona mayor disponibilidad y administra los recursos informáticos en ambas AZ como un único almacén de datos ubicado detrás de un único punto final. Las consultas se ejecutan en forma circular para calcular los recursos en ambas zonas de disponibilidad, de modo que cada recurso informático hace la mitad del trabajo.

«Todo este hardware se utiliza», confirma Das. «Así, no sólo se obtiene una mayor disponibilidad, sino también una mayor direccionalidad».

Los clientes que elijan la nueva opción deberían hacerlo principalmente por los beneficios de alta disponibilidad, afirma Das, pero la alta escalabilidad es una buena ventaja adicional. Las empresas pagarán los costos informáticos más altos que conlleva la ejecución de dos clústeres en diferentes zonas de disponibilidad, pero no necesitarán pagar por almacenamiento adicional porque es compartido. Es por eso que los clústeres RA3 almacenan sus datos en Redshift Managed Storage (RMS), lo que permite a los clientes escalar y pagar por la computación y el almacenamiento de forma independiente.

RMS es un protocolo de escritura, lo que significa que cuando escribe, se conecta al almacenamiento S3 y los datos se replican automáticamente en todas las zonas de disponibilidad de AWS dentro de una región de AWS. Esto funciona a nivel local, aunque en caso de fallo interregional los datos no estarán disponibles. En ese punto, debe utilizar la copia entre regiones de Redshift para replicar las instantáneas de su clúster en otra región de AWS. Pero para las empresas que operan en una sola región, esto sigue siendo una gran victoria.

El beneficio de este modelo diferente de costo y almacenamiento continúa creciendo (y pueden crecer hasta petabytes de tamaño bajo RMS). A medida que crece el almacenamiento de datos, pagar una sola vez por el almacenamiento hace que esta solución sea más rentable, afirma Amazon

Casos de uso y aplicaciones

Esta opción de alta disponibilidad y escalabilidad es excelente para cargas de trabajo simultáneas de subprocesos múltiples, explica Das. «Un ejemplo son las cargas de trabajo del panel donde hay muchas consultas ad hoc que aparecen durante un período de tiempo y deben ejecutarse muy rápidamente», explica. «En ese caso, esta sobrecarga es importante porque todas las consultas se ejecutan simultáneamente».

Proporciona detección de fraude en aplicaciones financieras como otro posible candidato. «Su solución debería estar siempre en funcionamiento», explica. «Simplemente no baja porque están tratando de detectar fraude y constantemente hacen estallar los datos». Otras aplicaciones pueden ser la gestión de flotas, donde las entregas críticas (o visitas de servicio de emergencia) se pueden realizar de la manera más rápida y eficiente posible.

Los clientes pueden habilitar la nueva característica de alta disponibilidad de tres maneras a través de la consola o mediante la API de AWS. Cuando crea un nuevo grupo RA3, el primer paso es simplemente seleccionar la opción Multi-AZ. En el segundo, convierte un grupo RA3 existente de AZ único a Multi-AZ seleccionando la opción Multi-AZ. Finalmente, puede restaurar una imagen existente desde RA3 o Serverless como lo haría normalmente en una instancia de Redshift, pero puede hacerlo como un lote Multi-AZ, convirtiéndola sobre la marcha.

Esta nueva capacidad promete brindar a los clientes lo mejor de ambos mundos: alta disponibilidad y alta escalabilidad, con solo mayores costos de computación en lugar de almacenamiento. AWS ya trabaja con clientes que han puesto a prueba el servicio en la práctica con resultados impresionantes. A medida que los almacenes de datos se vuelven más críticos para las operaciones de misión crítica, las empresas están trabajando arduamente para mantener al cliente a la vanguardia.

Desarrollado por AWS.