Amazon Kinesis Data Firehose (Firehose) ahora ofrece una integración directa en versión preliminar con Snowflake Snowpipe Streaming. Firehose permite a los clientes capturar, transformar y entregar de manera fiable flujos de datos a diversos destinos como Amazon S3, Amazon Redshift, Splunk y otros destinos para análisis. Con esta nueva función, los clientes pueden transmitir registros de secuencias de clics, aplicaciones y servicios de AWS desde diversas fuentes, incluido Kinesis Data Streams, directamente a Snowflake. La configuración de un flujo de Firehose para entregar datos a Snowflake se realiza fácilmente con unos pocos clics. Firehose se escala automáticamente para transmitir grandes volúmenes de datos, y los registros están disponibles en Snowflake en cuestión de segundos.
Snowflake ofrece dos opciones para cargar datos en sus tablas: Snowpipe y Snowpipe Streaming. Con Snowpipe, los clientes cargan datos en archivos en microlotes, lo cual implica agregar los flujos en lotes, escribirlos en el almacenamiento provisional y luego cargarlos en Snowflake. Este proceso de varios pasos agrega minutos de latencia y un costo mayor. En cambio, Snowpipe Streaming permite escribir filas de datos directamente en las tablas. Gracias a la integración con Snowpipe Streaming, Firehose entrega los flujos registro por registro tan pronto como están disponibles. Esto permite que los datos estén listos para consultarse en Snowflake en cuestión de segundos, reduciendo así el costo, la latencia y la complejidad asociados con la entrega de flujos a Snowflake.
La integración de Firehose con Snowflake está disponible en versión preliminar en las regiones Este de EE. UU. (Norte de Virginia), Oeste de EE. UU. (Oregón) y Europa (Irlanda). Para obtener más información y comenzar, consulte la documentación, los precios y la consola de Amazon Kinesis Data Firehose. Se proporciona acceso a las características de versión preliminar con el propósito de evaluación y pruebas, y no se deben utilizar en entornos de producción. Para conocer los términos y condiciones, consulte el artículo sobre la participación en el servicio beta en los términos del servicio de AWS.