AWS Glue announces the general availability of catalog federation for remote Iceberg catalogs. This capability provides direct and secure access to Iceberg tables stored in Amazon S3 and cataloged in remote catalogs using AWS analytics engines.
With catalog federation, you can federate to remote Iceberg catalogs and query remote Iceberg tables using your preferred AWS analytics engines, without moving or copying tables. It synchronizes metadata real-time across AWS Glue Data Catalog and remote catalogs when data teams query remote tables, which means that query results are always completely up-to-date. You can now choose the best price-performance for your workloads when analyzing remote Iceberg tables using your preferred AWS analytics engines, while maintaining consistent security controls when discovering or querying data. Catalog federation is supported by a wide variety of analytics engines, including Amazon Redshift, Amazon EMR, Amazon Athena, AWS Glue, third-party engines like Apache Spark, and Amazon SageMaker with the serverless notebooks.
Catalog federation uses AWS Lake Formation for access controls, allowing you to use fine-grained access controls, cross-account sharing, and trusted identity propagation when sharing remote catalog tables with other data consumers. Catalog federation integrates with catalog implementations that support the Iceberg REST specifications.
Catalog federation is available in Lake Formation console and using AWS Glue and Lake Formation SDKs and APIs. This feature is generally available in all AWS commercial regions where AWS Glue and Lake Formation are available. With just a few clicks in the console, you can federate to remote catalogs, discover its databases and tables, grant permissions to access table data, and query remote Iceberg tables using AWS analytics engines. To learn more, visit the documentation.
AWS Glue announces the general availability of catalog federation for remote Iceberg catalogs. This capability provides direct and secure access to Iceberg tables stored in Amazon S3 and cataloged in remote catalogs using AWS analytics engines. With catalog federation, you can federate to remote Iceberg catalogs and query remote Iceberg tables using your preferred AWS analytics engines, without moving or copying tables. It synchronizes metadata real-time across AWS Glue Data Catalog and remote catalogs when data teams query remote tables, which means that query results are always completely up-to-date. You can now choose the best price-performance for your workloads when analyzing remote Iceberg tables using your preferred AWS analytics engines, while maintaining consistent security controls when discovering or querying data. Catalog federation is supported by a wide variety of analytics engines, including Amazon Redshift, Amazon EMR, Amazon Athena, AWS Glue, third-party engines like Apache Spark, and Amazon SageMaker with the serverless notebooks. Catalog federation uses AWS Lake Formation for access controls, allowing you to use fine-grained access controls, cross-account sharing, and trusted identity propagation when sharing remote catalog tables with other data consumers. Catalog federation integrates with catalog implementations that support the Iceberg REST specifications. Catalog federation is available in Lake Formation console and using AWS Glue and Lake Formation SDKs and APIs. This feature is generally available in all AWS commercial regions where AWS Glue and Lake Formation are available. With just a few clicks in the console, you can federate to remote catalogs, discover its databases and tables, grant permissions to access table data, and query remote Iceberg tables using AWS analytics engines. To learn more, visit the documentation.
Customers can now use Claude Opus 4.5 in Amazon Bedrock, a fully managed service that offers a choice of high-performing foundation models from leading AI companies. Opus 4.5 is Anthropic’s newest model, setting new standards across coding, agentic workflows, computer use, and office tasks while making Opus-level intelligence accessible at one-third the cost.
Opus 4.5 excels at professional software engineering tasks, achieving state-of-the-art performance on SWE-bench. The model handles ambiguity, reasons about tradeoffs and can figure out fixes for bugs that require reasoning across multiple systems. It can help transform multi-day team development projects into hours-long tasks with improved multilingual coding capabilities. This generation of Claude spans the full development lifecycle: Opus 4.5 for production code and lead agents, Sonnet 4.5 for rapid iteration and scaled user experiences, Haiku 4.5 for sub-agents and free-tier products.
Beyond coding, the model powers agents that produce documents, spreadsheets, and presentations with consistency, professional polish, and domain awareness, making it ideal for finance and other precision-critical verticals. As Anthropic’s best vision model yet, it unlocks workflows that depend on complex visual interpretation and multi-step navigation. Through the Amazon Bedrock API, Opus 4.5 introduces two new capabilities: tool search and tool use examples. Together, these updates enable Claude to navigate large tool libraries and accurately execute complex tasks. A new effort parameter, available in beta, lets you control how much effort Claude allocates across thinking, tool calls, and responses to balance performance with latency, and cost.
Claude Opus 4.5 is now available in Amazon Bedrock via global cross region inference in multiple locations. For the full list of available regions, refer to the documentation. To get started with the model in Amazon Bedrock, read the launch blog or visit the Amazon Bedrock console.
Customers can now use Claude Opus 4.5 in Amazon Bedrock, a fully managed service that offers a choice of high-performing foundation models from leading AI companies. Opus 4.5 is Anthropic’s newest model, setting new standards across coding, agentic workflows, computer use, and office tasks while making Opus-level intelligence accessible at one-third the cost. Opus 4.5 excels at professional software engineering tasks, achieving state-of-the-art performance on SWE-bench. The model handles ambiguity, reasons about tradeoffs and can figure out fixes for bugs that require reasoning across multiple systems. It can help transform multi-day team development projects into hours-long tasks with improved multilingual coding capabilities. This generation of Claude spans the full development lifecycle: Opus 4.5 for production code and lead agents, Sonnet 4.5 for rapid iteration and scaled user experiences, Haiku 4.5 for sub-agents and free-tier products. Beyond coding, the model powers agents that produce documents, spreadsheets, and presentations with consistency, professional polish, and domain awareness, making it ideal for finance and other precision-critical verticals. As Anthropic’s best vision model yet, it unlocks workflows that depend on complex visual interpretation and multi-step navigation. Through the Amazon Bedrock API, Opus 4.5 introduces two new capabilities: tool search and tool use examples. Together, these updates enable Claude to navigate large tool libraries and accurately execute complex tasks. A new effort parameter, available in beta, lets you control how much effort Claude allocates across thinking, tool calls, and responses to balance performance with latency, and cost. Claude Opus 4.5 is now available in Amazon Bedrock via global cross region inference in multiple locations. For the full list of available regions, refer to the documentation. To get started with the model in Amazon Bedrock, read the launch blog or visit the Amazon Bedrock console.
Today, AWS announces enhanced log analytics capabilities in Amazon OpenSearch Service, making Piped Processing Language (PPL) and natural language the default experience in OpenSearch UI’s Observability workspace. This update combines proven pipeline syntax with simplified workflows to deliver an intuitive observability experience, helping customers analyze growing data volumes while controlling costs. The new experience includes 35+ new commands for deep analysis, faceted exploration, and natural language querying to help customers gain deeper insights across infrastructure, security, and business metrics.
With this enhancement, customers can streamline their log analytics workflows using familiar pipeline syntax while leveraging advanced analytics capabilities. The solution includes enterprise-grade query capabilities, supporting advanced event correlation using natural language that help teams uncover meaningful patterns faster. Users can seamlessly move from query to visualization within a single interface, reducing mean time to detect and resolve issues. Admins can quickly stand up an end-to-end OpenTelemetry solution using OpenSearch’s Get Started workflow in the AWS console. The unified workflow includes out-of-the-box OpenSearch Ingestion pipelines for OpenTelemetry data, making it easier for teams to get started quickly.
Amazon OpenSearch UI is available in the following AWS Regions: US East (N. Virginia), US East (Ohio), US West (N. California), US West (Oregon), Asia Pacific (Mumbai), Asia Pacific (Singapore), Asia Pacific (Sydney), Asia Pacific (Tokyo), Asia Pacific (Seoul), Asia Pacific (Osaka), Asia Pacific (Hong Kong), Asia Pacific (Hyderabad), Europe (Ireland), Europe (London), Europe (Frankfurt), Europe (Paris), Europe (Stockholm), Europe (Milan), Europe (Spain), Europe (Zurich), South America (São Paulo), and Canada (Central).
To learn more about the new OpenSearch log analytics experience, visit the OpenSearch Service observability documentation and start using these enhanced capabilities today in OpenSearch UI.
Today, AWS announces enhanced log analytics capabilities in Amazon OpenSearch Service, making Piped Processing Language (PPL) and natural language the default experience in OpenSearch UI’s Observability workspace. This update combines proven pipeline syntax with simplified workflows to deliver an intuitive observability experience, helping customers analyze growing data volumes while controlling costs. The new experience includes 35+ new commands for deep analysis, faceted exploration, and natural language querying to help customers gain deeper insights across infrastructure, security, and business metrics. With this enhancement, customers can streamline their log analytics workflows using familiar pipeline syntax while leveraging advanced analytics capabilities. The solution includes enterprise-grade query capabilities, supporting advanced event correlation using natural language that help teams uncover meaningful patterns faster. Users can seamlessly move from query to visualization within a single interface, reducing mean time to detect and resolve issues. Admins can quickly stand up an end-to-end OpenTelemetry solution using OpenSearch’s Get Started workflow in the AWS console. The unified workflow includes out-of-the-box OpenSearch Ingestion pipelines for OpenTelemetry data, making it easier for teams to get started quickly. Amazon OpenSearch UI is available in the following AWS Regions: US East (N. Virginia), US East (Ohio), US West (N. California), US West (Oregon), Asia Pacific (Mumbai), Asia Pacific (Singapore), Asia Pacific (Sydney), Asia Pacific (Tokyo), Asia Pacific (Seoul), Asia Pacific (Osaka), Asia Pacific (Hong Kong), Asia Pacific (Hyderabad), Europe (Ireland), Europe (London), Europe (Frankfurt), Europe (Paris), Europe (Stockholm), Europe (Milan), Europe (Spain), Europe (Zurich), South America (São Paulo), and Canada (Central). To learn more about the new OpenSearch log analytics experience, visit the OpenSearch Service observability documentation and start using these enhanced capabilities today in OpenSearch UI.
Cinco de cada diez empresas colombianas ya utilizan agentes de IA para fortalecer su ciberseguridad
El 57% de las compañías usa agentes de IA en materia de ciberseguridad y 39% evalúa adoptarlos, en un contexto en el que seis de cada diez ya cuentan con políticas formales para su uso.
Bogotá, Colombia – Como parte de su compromiso con un futuro digital más seguro, Microsoft presenta los resultados de la encuesta “Ciberseguridad 2025: Desafíos y estrategias en la era de la IA para grandes empresas”, comisionada a Edelman. La encuesta, aplicada a 100 profesionales de seguridad y TI en Colombia, ofrece una visión actualizada sobre cómo las organizaciones están ajustando sus enfoques frente a los cambios del entorno digital.
Los hallazgos muestran que seis de cada diez especialistas en TI consideran las amenazas cibernéticas un reto concreto para sus organizaciones, en un contexto donde los riesgos digitales continúan en aumento. El 73% percibe que estas amenazas han crecido en los últimos dos o tres años y el 76% prevé que la ciberseguridad seguirá siendo una prioridad en sus compañías durante el mismo periodo.
La percepción del riesgo varía según el tipo de empresa. En las organizaciones nativas digitales, es decir, aquellas cuyo modelo de operación depende en gran medida de plataformas tecnológicas y servicios en la nube, el 66% reporta niveles altos de riesgo, lo que refleja una mayor exposición al entorno digital. En las empresas no nativas digitales, el 48% identifica un riesgo elevado y una proporción más amplia se ubica en niveles moderados o bajos, lo que sugiere diferencias en términos de madurez o sensibilidad frente al riesgo cibernético.
Además, entre los riesgos más mencionados por las organizaciones, el malware (software malicioso) con un 51% y el phishing (ataques diseñados para engañar a los usuarios y obtener información confidencial) con un 35%, se consolidan como las principales amenazas de ciberseguridad.
Ante este escenario, la inteligencia artificial (IA) empieza a ocupar un lugar central en la respuesta de las organizaciones. Más del 90% de las empresas considera que la IA será un factor de impacto en sus prácticas de ciberseguridad, al fortalecer la defensa frente a amenazas cada vez más sofisticadas. En la actualidad, cinco de cada diez compañías declaran tener una alta o moderada dependencia de la IA para enfrentar los riesgos de ciberseguridad.
Madurez de las estrategias de ciberseguridad en las empresas colombianas
En este contexto se ha evidenciado un fortalecimiento de las capacidades internas de las organizaciones a partir de la consolidación de estrategias formales. Actualmente, el 60% de las empresas colombianas cuenta con una estrategia definida de ciberseguridad y el 90% indica que este componente está integrado en la estrategia general de negocio.
La participación de los equipos directivos también fortalece este avance y refuerza la consolidación de nuevas estrategias. El 58% de las compañías reporta un alto involucramiento de la junta en decisiones relacionadas con ciberseguridad, nivel que alcanza el 69% en las organizaciones nativas digitales. En las no nativas digitales, el involucramiento se distribuye entre niveles altos y moderados.
Como resultado de estos avances, el 34% de las empresas encuestadas se considera altamente preparada frente al panorama actual de amenazas y el 46% se ubica en un nivel moderado de preparación. Entre las principales fortalezas se destacan la protección de datos (55%) y el cumplimiento normativo (46%), mientras que la capacitación de empleados continúa siendo un área pendiente por fortalecer (26%).
Este desarrollo se complementa con la incorporación de componentes claves dentro de las estrategias de seguridad. Entre los aspectos más presentes se encuentran la privacidad y protección de datos (75%), los planes de respuesta ante incidentes (70%) y la adopción de tecnologías basadas en IA (47%).
Agentes de IA: un nuevo capítulo en la estrategia de ciberseguridad
La evolución tecnológica continúa ampliando las herramientas disponibles para reforzar la seguridad digital. En este escenario, los agentes de IA han adquirido un papel destacado gracias a su capacidad para optimizar procesos críticos y mejorar la eficiencia operativa en distintos ámbitos.
Seis de cada diez empresas cuentan con políticas formales para el uso de agentes de IA y nueve de cada diez consideran que estos lineamientos son efectivos. Aunque la percepción de efectividad varía según el tipo de organización, en las empresas nativas digitales el 62% califica estas políticas como altamente efectivas, mientras que en las no nativas digitales este nivel alcanza solo el 38%.
En la práctica, el 57% ya utiliza agentes de IA en procesos de ciberseguridad y un 39% está evaluando incorporarlos, lo que evidencia un avance progresivo en su adopción. Esta incorporación no se limita al ámbito de la seguridad, ya que los agentes de IA también tienen presencia en otras áreas operativas: la atención al cliente registra un 61% de uso y la infraestructura de TI alcanza el 60%. Estas cifras muestran su integración en funciones que requieren agilidad y gestión continua, lo que a su vez contribuye a fortalecer los procesos de seguridad digital.
De acuerdo con la encuesta, el aporte de estas soluciones se observa en el fortalecimiento de tareas clave. Los agentes, diseñados para automatizar actividades, orquestar flujos y operar bajo salvaguardas, facilitan la reducción de tiempos de investigación, la priorización de alertas, la contención de incidentes y la aplicación consistente de políticas de identidad y datos. La combinación de modelos de IA con telemetría a gran escala y controles basados en Zero Trust contribuye a robustecer la postura de seguridad frente a amenazas cada vez más complejas.
“LA IA no solo aumenta la velocidad y el alcance de las defensas: a través de agentes especializados, ayuda a cerrar brechas de talento, estandarizar procesos y elevar la resiliencia del negocio. El desafío ya no es ‘si’ invertir en seguridad, sino cómo escalarla con IA y con gobernanza responsable en cada capa de la organización”, afirmó Marcelo Felman, Director de Ciberseguridad de Microsoft para América Latina.
Recomendaciones de ciberseguridad en la era de la IA:
Hacer de la Seguridad una Prioridad, gestionando el riesgo desde el nivel directivo.
Refuerza tu Higiene Digital: prioriza la protección de identidades, asegura el perímetro de tu empresa y monitorea continuamente los activos en la nube.
Fortalecer la Resiliencia digital: identifica tus vulnerabilidades, planifica con anticipación y capacítate para responder y recuperarte rápidamente ante cualquier brecha.
Invertir en las Personas, no solo en las herramientas.
Prepararse para el Futuro. Anticipar cambios, entender que no sabemos lo que no sabemos, y siempre intercambiar inteligencia de amenazas.
Hacer que la decisión más fácil, sea la correcta. En lugar de bloquear y prohibir, fomentar el uso seguro.
Acerca de Microsoft
Microsoft (Nasdaq «MSFT» @microsoft) crea plataformas y herramientas impulsadas por la IA para ofrecer soluciones innovadoras que satisfagan las necesidades cambiantes de nuestros clientes. La empresa de tecnología está comprometida con hacer que la IA esté ampliamente disponible, de manera responsable, con la misión de empoderar a cada persona y a cada organización en el planeta para lograr más.
Amazon Connect flow modules now support custom inputs, outputs, and branches, along with version and alias management. With this launch, you can now define flexible parameters for your reusable flow modules to math your specific business logic. For example, you can create an authentication module that accepts a phone number and PIN as inputs, then returns the customer name and authentication status as outputs with branches such as «authenticated» or «not authenticated». All parameters are customizable to meet your specific needs.
Additionally, advanced versioning and aliasing capabilities allow you to manage module updates more seamlessly. You can create immutable version snapshots and map aliases to specific versions. When you update an alias to point to a new version, all flows using that module automatically reference the updated version. These new features make flow modules more powerful and reusable, allowing you to build and maintain flows more efficiently.
Amazon Connect flow modules now support custom inputs, outputs, and branches, along with version and alias management. With this launch, you can now define flexible parameters for your reusable flow modules to math your specific business logic. For example, you can create an authentication module that accepts a phone number and PIN as inputs, then returns the customer name and authentication status as outputs with branches such as «authenticated» or «not authenticated». All parameters are customizable to meet your specific needs. Additionally, advanced versioning and aliasing capabilities allow you to manage module updates more seamlessly. You can create immutable version snapshots and map aliases to specific versions. When you update an alias to point to a new version, all flows using that module automatically reference the updated version. These new features make flow modules more powerful and reusable, allowing you to build and maintain flows more efficiently. To learn more about these feature, see the Amazon Connect Administrator Guide. This feature is available in all AWS regions that offers Amazon Connect. To learn more about Amazon Connect, the AWS cloud-based contact center, please visit the Amazon Connect website.
Amazon SageMaker HyperPod now supports NVIDIA Multi-Instance GPU (MIG) technology, enabling administrators to partition a single GPU into multiple isolated GPUs. This capability allows administrators to maximize resource utilization by running diverse, small generative AI (GenAI) tasks simultaneously on GPU partitions while maintaining performance and task isolation.
Administrators can choose either the easy-to-use configuration setup on the SageMaker HyperPod console or a custom setup approach to enable fine-grained, hardware-isolated resources for specific task requirements that don’t require full GPU capacity. They can also allocate compute quota to ensure fair and efficient distribution of GPU partitions across teams. With real-time performance metrics and resource utilization monitoring dashboard across GPU partitions, administrators gain visibility to optimize resource allocation. Data scientists can now accelerate time-to-market by scheduling lightweight inference tasks and running interactive notebooks in parallel on GPU partitions, eliminating wait times for full GPU availability.
This capability is currently available for Amazon SageMaker HyperPod clusters using the EKS orchestrator across the following AWS Regions: US West (Oregon), US East (N.Virginia), US East (Ohio), US West (N. California), Canada (Central), South America (Sao Paulo), Europe (Stockholm), Europe (Spain), Europe (Ireland), Europe (Frankfurt), Europe (London), Asia Pacific (Mumbai), Asia Pacific (Jakarta), Asia Pacific (Melbourne), Asia Pacific (Tokyo), Asia Pacific (Sydney), Asia Pacific (Seoul), Asia Pacific (Singapore).
Amazon SageMaker HyperPod now supports NVIDIA Multi-Instance GPU (MIG) technology, enabling administrators to partition a single GPU into multiple isolated GPUs. This capability allows administrators to maximize resource utilization by running diverse, small generative AI (GenAI) tasks simultaneously on GPU partitions while maintaining performance and task isolation. Administrators can choose either the easy-to-use configuration setup on the SageMaker HyperPod console or a custom setup approach to enable fine-grained, hardware-isolated resources for specific task requirements that don’t require full GPU capacity. They can also allocate compute quota to ensure fair and efficient distribution of GPU partitions across teams. With real-time performance metrics and resource utilization monitoring dashboard across GPU partitions, administrators gain visibility to optimize resource allocation. Data scientists can now accelerate time-to-market by scheduling lightweight inference tasks and running interactive notebooks in parallel on GPU partitions, eliminating wait times for full GPU availability. This capability is currently available for Amazon SageMaker HyperPod clusters using the EKS orchestrator across the following AWS Regions: US West (Oregon), US East (N.Virginia), US East (Ohio), US West (N. California), Canada (Central), South America (Sao Paulo), Europe (Stockholm), Europe (Spain), Europe (Ireland), Europe (Frankfurt), Europe (London), Asia Pacific (Mumbai), Asia Pacific (Jakarta), Asia Pacific (Melbourne), Asia Pacific (Tokyo), Asia Pacific (Sydney), Asia Pacific (Seoul), Asia Pacific (Singapore). To learn more, visit SageMaker HyperPod webpage, and SageMaker HyperPod documentation.
AWS Elemental MediaTailor now supports HTTP Live Streaming (HLS) Interstitials for live streams, enabling broadcasters and streaming service providers to deliver seamless, personalized ad experiences across a wide range of modern video players. This capability allows customers to insert interstitial advertisements and promotions directly into live streams using the HLS Interstitials specification (RFC 8216), which is natively supported by popular players including HLS.js, Shaka Player, Bitmovin Player, and Apple devices running iOS 16.4, iPadOS 16.4, tvOS 16.4, and later.
With HLS Interstitials, MediaTailor automatically generates the necessary metadata tags (Interstitial class EXT-X-DATERANGE with X-ASSET-LIST attributes) that signal to client players when and how to play interstitial content. This approach eliminates the need for custom player-side stitching logic, reducing development complexity and ensuring consistent playback behavior. The feature integrates with MediaTailor’s existing server-side ad insertion (SSAI) capabilities, delivering frame-accurate transitions with no buffering between content and interstitials. Server-side beaconing continues to work with HLS Interstitials, ensuring ad tracking and measurement workflows remain intact.
HLS Interstitials for live streams is particularly valuable for sports broadcasts, live news, and event streaming where precise ad timing and minimal latency are critical. The feature supports pre-roll and mid-roll insertion, giving customers flexibility in how they monetize their live content. This launch complements MediaTailor’s existing HLS Interstitials support for VOD, rounding out support across Linear, Live, FAST, and VOD workflows. MediaTailor makes it easy to test and deploy—customers can rapidly enable or disable HLS Interstitials with a simple query parameter on the multi-variant manifest request, providing per playback session control without changing the underlying MediaTailor configuration.
AWS Elemental MediaTailor HLS Interstitials for live streams is available today in all AWS Regions where MediaTailor operates. You pay only for the features you use, with no upfront commitments. To learn more and get started, visit the AWS Elemental MediaTailor documentation and the HLS Interstitials implementation guide.
AWS Elemental MediaTailor now supports HTTP Live Streaming (HLS) Interstitials for live streams, enabling broadcasters and streaming service providers to deliver seamless, personalized ad experiences across a wide range of modern video players. This capability allows customers to insert interstitial advertisements and promotions directly into live streams using the HLS Interstitials specification (RFC 8216), which is natively supported by popular players including HLS.js, Shaka Player, Bitmovin Player, and Apple devices running iOS 16.4, iPadOS 16.4, tvOS 16.4, and later. With HLS Interstitials, MediaTailor automatically generates the necessary metadata tags (Interstitial class EXT-X-DATERANGE with X-ASSET-LIST attributes) that signal to client players when and how to play interstitial content. This approach eliminates the need for custom player-side stitching logic, reducing development complexity and ensuring consistent playback behavior. The feature integrates with MediaTailor’s existing server-side ad insertion (SSAI) capabilities, delivering frame-accurate transitions with no buffering between content and interstitials. Server-side beaconing continues to work with HLS Interstitials, ensuring ad tracking and measurement workflows remain intact. HLS Interstitials for live streams is particularly valuable for sports broadcasts, live news, and event streaming where precise ad timing and minimal latency are critical. The feature supports pre-roll and mid-roll insertion, giving customers flexibility in how they monetize their live content. This launch complements MediaTailor’s existing HLS Interstitials support for VOD, rounding out support across Linear, Live, FAST, and VOD workflows. MediaTailor makes it easy to test and deploy—customers can rapidly enable or disable HLS Interstitials with a simple query parameter on the multi-variant manifest request, providing per playback session control without changing the underlying MediaTailor configuration. AWS Elemental MediaTailor HLS Interstitials for live streams is available today in all AWS Regions where MediaTailor operates. You pay only for the features you use, with no upfront commitments. To learn more and get started, visit the AWS Elemental MediaTailor documentation and the HLS Interstitials implementation guide.
AWS Lambda launches enhanced error handling capabilities for Amazon Managed Streaming for Apache Kafka (MSK) and self-managed Apache Kafka (SMK) event sources. These capabilities allow customers to build custom retry configurations, optimize retries of failed messages, and send failed events to a Kafka topic as an on-failure destination, enabling customers to build resilient Kafka workloads with robust error handling strategies.
Customers use Kafka event source mappings (ESM) with their Lambda functions to build their mission-critical Kafka applications. Kafka ESM offers robust error handling of failed events by retrying events with exponential backoff, and retaining failed events in on-failure destinations like Amazon SQS, Amazon S3, Amazon SNS. However, customers need customized error handling to meet stringent business and performance requirements. With this launch, developers can now exercise precise control over failed event processing and leverage Kafka topics as an additional on-failure destination when using Provisioned mode for Kafka ESM. Customers can now define specific retry limits and time boundaries for retry, automatically discarding failed records beyond these limits to customer-specified destination. They can now also set automatic retries of failed records in the batch and enhance their function code to report individual failed messages, optimizing the retry process.
This feature is available in all AWS Commercial Regions where AWS Lambda’s Provisioned mode for Kafka ESM is available.
To enable these capabilities, provide configuration parameters for your Kafka ESM in the ESM API, AWS Console, and AWS CLI. To learn more, read the Lambda ESM documentation and AWS Lambda pricing.
AWS Lambda launches enhanced error handling capabilities for Amazon Managed Streaming for Apache Kafka (MSK) and self-managed Apache Kafka (SMK) event sources. These capabilities allow customers to build custom retry configurations, optimize retries of failed messages, and send failed events to a Kafka topic as an on-failure destination, enabling customers to build resilient Kafka workloads with robust error handling strategies. Customers use Kafka event source mappings (ESM) with their Lambda functions to build their mission-critical Kafka applications. Kafka ESM offers robust error handling of failed events by retrying events with exponential backoff, and retaining failed events in on-failure destinations like Amazon SQS, Amazon S3, Amazon SNS. However, customers need customized error handling to meet stringent business and performance requirements. With this launch, developers can now exercise precise control over failed event processing and leverage Kafka topics as an additional on-failure destination when using Provisioned mode for Kafka ESM. Customers can now define specific retry limits and time boundaries for retry, automatically discarding failed records beyond these limits to customer-specified destination. They can now also set automatic retries of failed records in the batch and enhance their function code to report individual failed messages, optimizing the retry process. This feature is available in all AWS Commercial Regions where AWS Lambda’s Provisioned mode for Kafka ESM is available. To enable these capabilities, provide configuration parameters for your Kafka ESM in the ESM API, AWS Console, and AWS CLI. To learn more, read the Lambda ESM documentation and AWS Lambda pricing.
Starting today, Amazon EC2 High Memory U7i instances with 6TB of memory (u7i-6tb.112xlarge) are now available in the Asia Pacific (Jakarta) region. U7i-6tb instances are part of AWS 7th generation and are powered by custom fourth generation Intel Xeon Scalable Processors (Sapphire Rapids). U7i-6tb instances offer 6TB of DDR5 memory, enabling customers to scale transaction processing throughput in a fast-growing data environment.
U7i-6tb instances offer 448 vCPUs, support up to 100Gbps Elastic Block Storage (EBS) for faster data loading and backups, deliver up to 100Gbps of network bandwidth, and support ENA Express. U7i instances are ideal for customers using mission-critical in-memory databases like SAP HANA, Oracle, and SQL Server.
Starting today, Amazon EC2 High Memory U7i instances with 6TB of memory (u7i-6tb.112xlarge) are now available in the Asia Pacific (Jakarta) region. U7i-6tb instances are part of AWS 7th generation and are powered by custom fourth generation Intel Xeon Scalable Processors (Sapphire Rapids). U7i-6tb instances offer 6TB of DDR5 memory, enabling customers to scale transaction processing throughput in a fast-growing data environment. U7i-6tb instances offer 448 vCPUs, support up to 100Gbps Elastic Block Storage (EBS) for faster data loading and backups, deliver up to 100Gbps of network bandwidth, and support ENA Express. U7i instances are ideal for customers using mission-critical in-memory databases like SAP HANA, Oracle, and SQL Server. To learn more about U7i instances, visit the High Memory instances page.
Escala infinita: La arquitectura detrás de la superfábrica de IA Azure
Por: Scott Guthrie, vicepresidente ejecutivo, Nube + IA.
Hace unos días presentamos la próxima sede de Fairwater de centros de datos Azure AI en Atlanta, Georgia. Este centro de datos diseñado de manera específica, está conectado a nuestro primer sitio en Fairwater en Wisconsin, a generaciones anteriores de superordenadores de IA y a la huella global más amplia de centros de datos Azure para crear la primera superfábrica de IA a escala planetaria del mundo. Al dotar una potencia de cálculo más densa que nunca, cada sitio de Fairwater está diseñado para satisfacer de manera eficiente una demanda sin precedentes de computación por IA, empujar los límites de la inteligencia modelo y empoderar a cada persona y organización del planeta para lograr más.
Para satisfacer esta demanda, hemos reinventado la manera en que diseñamos los centros de datos de IA y los sistemas que ejecutamos dentro de ellos. Fairwater supone un cambio respecto al modelo tradicional de centros de datos en la nube y utiliza una única red plana que puede integrar cientos de miles de las últimas GPUs NVIDIA GB200 y GB300 en un superordenador enorme. Estas innovaciones son fruto de décadas de experiencia en el diseño de centros de datos y redes, así como de aprendizajes adquiridos con el apoyo a algunos de los mayores trabajos de formación en IA del planeta.
Aunque el diseño del centro de datos Fairwater es muy adecuado para entrenar la próxima generación de modelos de frontera, también está diseñado con la fungibilidad en mente. La formación ha evolucionado de un solo trabajo monolítico a una variedad de cargas de trabajo con diferentes requisitos (como preentrenamiento, ajuste fino, aprendizaje por refuerzo y generación de datos sintéticos). Microsoft ha desplegado una columna vertebral dedicada a la IA WAN para integrar cada sitio de Fairwater en un sistema elástico más amplio que permite la asignación dinámica de diversas cargas de trabajo de IA y maximiza la utilización de la GPU en el sistema combinado.
A continuación, repasamos algunas de las innovaciones técnicas más interesantes que apoyan a Fairwater, desde la forma en que construimos centros de datos hasta la red dentro y entre los sitios.
Densidad máxima de cálculo
La infraestructura moderna de IA está cada vez más limitada por las leyes de la física. La velocidad de la luz es ahora un cuello de botella clave en nuestra capacidad para integrar de forma estrecha aceleradores, computación y almacenamiento con una latencia de alto rendimiento. Fairwater está diseñado para maximizar la densidad de cálculo y minimizar la latencia dentro y entre racks y maximizar el rendimiento del sistema.
Uno de los principales mecanismos para la densidad de conducción es mejorar la refrigeración a gran escala. Los servidores de IA en los centros de datos de Fairwater están conectados a un sistema de refrigeración a nivel de toda la instalación diseñado para la longevidad, con un enfoque de circuito cerrado que reutiliza el líquido de forma continua tras el llenado inicial sin evaporación. El agua utilizada en el relleno inicial equivale a lo que consumen 20 hogares al año y solo se reemplaza si la química del agua indica que es necesario (está diseñada para más de 6 años), lo que la hace muy eficiente y sostenible.
La refrigeración líquida también proporciona una transferencia de calor mucho mayor, permitiéndonos maximizar la potencia a nivel de rack y fila (~140 kW por rack, 1.360 kW por fila) para condensar el cálculo de la manera más densa posible dentro del centro de datos. La refrigeración de última generación también nos ayuda a maximizar la utilización de este denso cálculo en operaciones de estado estacionario, lo que permite que grandes trabajos de entrenamiento funcionen de manera eficiente a gran escala. Tras recorrer un sistema de caminos de placas frías a lo largo de la flota de GPUs, el calor es disipado por una de las plantas de refrigeración más grandes del planeta.
Refrigeración líquida directa a nivel de rack.
Otra forma en la que impulsamos la densidad de cómputo es con un diseño de edificio de centro de datos de dos plantas. Muchas cargas de trabajo de IA son muy sensibles a la latencia, lo que significa que la longitud de los cables puede afectar de manera significativa al rendimiento del clúster. Cada GPU en Fairwater está conectada a todas las demás, por lo que el enfoque de construcción de centros de datos de dos plantas permite colocar racks en tres dimensiones para minimizar la longitud de los cables, lo que a su vez mejora la latencia, el ancho de banda, la fiabilidad y el coste.
Arquitectura de red de dos plantas.
Energía de alta disponibilidad y bajo coste
Empujamos el límite al ofrecer este cómputo con energía rentable y fiable. El emplazamiento de Atlanta fue seleccionado con la energía eléctrica resiliente en mente y es capaz de alcanzar una disponibilidad de 4×9 a un coste de 3×9. Al asegurar una energía de red de una alta disponibilidad, también podemos prescindir de los enfoques tradicionales de resiliencia para la flota de GPUs (como la generación in situ, sistemas UPS y distribución de doble cable), lo que genera ahorros para los clientes y un tiempo de salida al mercado más rápido para Microsoft.
También hemos trabajado con nuestros socios industriales para codesarrollar soluciones de gestión de energía que mitiguen las oscilaciones de potencia provocadas por empleos a gran escala, un reto creciente para mantener la estabilidad de la red a medida que la demanda de IA crece. Esto incluye una solución impulsada por software que introduce cargas de trabajo suplementarias durante periodos de menor actividad, una solución impulsada por hardware donde las GPUs imponen sus propios umbrales de potencia y una solución de almacenamiento de energía in situ para enmascarar aún más las fluctuaciones de energía sin utilizar el exceso de energía.
Aceleradores y sistemas de redes de vanguardia
El diseño de centros de datos de clase mundial de Fairwater está impulsado por servidores diseñados en específico para este propósito, aceleradores de IA de vanguardia y sistemas de red novedosos. Cada centro de datos Fairwater ejecuta un único clúster coherente de GPUs NVIDIA Blackwell interconectadas, con una arquitectura de red avanzada que puede escalar de forma fiable más allá de los límites tradicionales de Clos con switches de última generación (cientos de miles de GPUs en una sola red plana). Esto requirió innovación en redes escaladas, redes escalables y protocolos de red.
En cuanto a escalado, cada rack de aceleradores de IA alberga hasta 72 GPUs NVIDIA Blackwell, conectadas vía NVLink para una comunicación de ultra baja latencia dentro del rack. Los aceleradores Blackwell proporcionan la mayor densidad de cálculo disponible hoy en día, con soporte para formatos numéricos de baja precisión como FP4 para aumentar el FLOPS total y permitir un uso eficiente de la memoria. Cada rack proporciona 1,8 TB de ancho de banda GPU a GPU, con más de 14 TB de memoria agrupada disponible para cada GPU.
Racks de GPU con una alta densidad de población con redes dirigidas a aplicaciones.
Estos racks utilizan entonces redes escalables para crear pods y clústeres que permiten que todas las GPUs funcionen como un único superordenador con un número mínimo de saltos. Lo conseguimos con una red backend de dos niveles basada en ethernet que soporta tamaños masivos de clústeres con conectividad GPU a GPU de 800 Gbps. Depender de un ecosistema ethernet amplio y SONiC (Software para Red Abierta en la Nube – que es nuestro propio sistema operativo para nuestros switches de red) también nos ayuda a evitar el bloqueo de proveedores y a gestionar costes, ya que podemos usar hardware comercial en lugar de soluciones propietarias.
Las mejoras en el recorte de paquetes, la pulverización de paquetes y la telemetría de alta frecuencia son componentes fundamentales de nuestra red optimizada de IA. También trabajamos para permitir un control y optimización más profundos de las rutas de red. En conjunto, estas tecnologías ofrecen un control avanzado de congestión, detección y retransmisión rápida, y un balanceo ágil de cargas, lo que asegura un rendimiento ultra fiable y de baja latencia para cargas de trabajo modernas de IA.
Escala planetaria
Incluso con estas innovaciones, la demanda de cálculo para grandes trabajos de formación (ahora medidos en billones de parámetros) supera con rapidez las limitaciones de energía y espacio de una sola instalación. Para satisfacer estas necesidades, hemos construido una red óptica WAN de IA dedicada para ampliar las redes de escalabilidad y escalabilidad de Fairwater. Al aprovechar nuestra escala y décadas de experiencia en hiperescala, el año pasado entregamos más de 120.000 nuevas millas de fibra en todo Estados Unidos, lo que amplía el alcance y la fiabilidad de las redes de IA a nivel nacional.
Con esta columna vertebral de alto rendimiento y alta resiliencia, podemos conectar de manera directa diferentes generaciones de superordenadores en una superfábrica de IA que supera las capacidades de un solo sitio en ubicaciones con una gran diversidad geográfica. Esto permite a los desarrolladores de IA acceder a nuestra red más amplia de centros de datos Azure AI, lo que segmenta el tráfico según sus necesidades a través de redes de escalabilidad hacia arriba y hacia abajo dentro de un sitio, así como entre sitios a través del continente que abarca la WAN de IA.
Esto supone un cambio significativo respecto al pasado, cuando todo el tráfico tenía que seguir la red escalable sin importar los requisitos de la carga de trabajo. No solo proporciona a los clientes una red adecuada para su propósito a un nivel más detallado, sino que también ayuda a crear fungibilidad para maximizar la flexibilidad y el uso de nuestra infraestructura.
Reunir todo
El nuevo emplazamiento de Fairwater en Atlanta representa el siguiente salto en la infraestructura de IA de Azure y refleja nuestra experiencia en la gestión de los mayores trabajos de formación en IA del planeta. Combina innovaciones revolucionarias en densidad computacional, sostenibilidad y sistemas de redes para satisfacer de manera eficiente la enorme demanda de potencia computacional que presenciamos. También se integra a profundidad con otros centros de datos de IA y la plataforma Azure más amplia para formar la primera superfábrica de IA del mundo. En conjunto, estas innovaciones proporcionan una infraestructura flexible y adecuada que puede servir a todo el espectro de cargas de trabajo modernas de IA y empoderar a cada persona y organización del planeta para lograr más. Para nuestros clientes, esto significa una integración más sencilla de la IA en todos los flujos de trabajo y la capacidad de crear soluciones innovadoras de IA que antes eran inalcanzables.
Descubran más sobre cómo Microsoft Azure puede ayudarlos a integrar la IA para optimizar y fortalecer los ciclos de vida del desarrollo aquí.
Scott Guthrie es responsable de soluciones y servicios de computación en la nube a gran escala, incluido Azure, la plataforma de computación en la nube de Microsoft, soluciones de IA generativa, plataformas de datos y seguridad de la información y ciberseguridad. Estas plataformas y servicios ayudan a organizaciones de todo el mundo a resolver desafíos urgentes e impulsar la transformación a largo plazo.
Nota del editor: Se hizo una actualización para explicar con mayor claridad cómo optimizamos nuestra red.
