Por: Jared Spataro, director de marketing de IA en el trabajo.

Nuestra ambición es empoderar a cada empleado con un Copilot y transformar cada proceso comercial con agentes. Desde Dow hasta Disney, las empresas apuestan por lo grande con Microsoft 365 Copilot y sus agentes, para descubrir escenarios clave que pueden ofrecer un retorno real de inversión. Ahora, las organizaciones de todos los tamaños buscan escalar su transformación de IA y obtener el retorno de inversión en toda la empresa, que viene con una amplia adopción.

Hoy presentamos Microsoft 365 Copilot Chat, una nueva oferta que agrega agentes de pago por uso a nuestra experiencia de chat gratuita existente para los clientes comerciales de Microsoft 365. Copilot Chat permite que toda su fuerza de trabajo, desde los representantes del servicio de atención al cliente hasta los responsables de marketing y los técnicos de primera línea, empiece a utilizar Copilot y sus agentes hoy mismo. Incluye:

• Chat de IA gratuito y seguro con tecnología GPT-4o.
• Agentes accesibles directo en el chat.
• Controles de TI, incluida la protección de datos empresariales y la gestión de agentes.

En el futuro, todas las organizaciones tendrán una combinación de Copilot Chat y Microsoft 365 Copilot, nuestra mejor oferta de su clase, para impulsar la transformación de la IA a escala. Echemos un vistazo a la nueva línea de productos.

Copilot Chat: El poder del chat + agentes

Copilot es la interfaz de usuario de la IA, y todo comienza con Copilot Chat. Es la experiencia de chat que usarán todos los días, impulsada por un amplio conocimiento de la web, basada en GPT-4o y diseñada para ser segura para uso empresarial. Representa un cambio fundamental en la forma en que trabajamos, lo que permite que todos trabajen de manera más inteligente, rápida y colaborativa.

Copilot Chat incluye:

• Chat basado en la web con GPT-4o. Pueden usarlo para realizar una investigación de mercado, escribir un documento de estrategia o prepararse para una reunión. Las cargas de archivos les permiten agregar cualquier documento al chat y pedirle a Copilot que haga cosas como resumir puntos clave en un documento de Word, analizar datos en una hoja de cálculo de Excel y sugerir mejoras a una presentación de PowerPoint.¹ Con Copilot Pages, pueden colaborar en el contenido con personas e IA en tiempo real, para agregar contenido de Copilot, sus archivos y, ahora, también de la web. Y pueden crear de manera rápida imágenes generadas por IA para campañas, lanzamientos de productos y publicaciones en redes sociales.²
• Agentes. Con el lenguaje natural, ahora cualquiera puede crear con facilidad agentes para automatizar tareas repetitivas y procesos empresariales, directo en Copilot Chat. Un representante de servicio al cliente puede solicitar a un agente de gestión de relaciones con el cliente (CRM, por sus siglas en inglés) los detalles de la cuenta antes de una reunión con el cliente, mientras que los agentes de servicio de campo pueden acceder a instrucciones paso a paso y al conocimiento del producto en tiempo real almacenado en SharePoint. Los precios de los agentes se calculan de forma medida y el departamento de TI mantiene el control. Los administradores de TI también pueden crear agentes para toda la organización y administrar la implementación de agentes, todo ello con la tecnología de Microsoft Copilot Studio.
• Sistema de control del copiloto. Copilot Chat incluye capacidades fundamentales del sistema de control de Copilot, incluida la protección de datos empresariales (EDP, por sus siglas en inglés) para la privacidad y seguridad de los datos y la capacidad de controlar el acceso y administrar el uso y el ciclo de vida de Copilot y los agentes, así como la medición y la generación de informes.

Click here to load media

Aunque Copilot Chat es una nueva y eficaz vía de acceso para que todos los miembros de la organización desarrollen el hábito de la IA, Microsoft 365 Copilot se mantiene nuestro mejor asistente personal de IA para el trabajo. Incluye todo lo que hay en Copilot, Chat y más. Microsoft 365 Copilot combina la potencia de los modelos más recientes basados en sus datos de trabajo: todas sus reuniones, correos electrónicos, chats, documentos y más; Copilot en las aplicaciones de Microsoft 365 en las que millones de personas confían todos los días: Microsoft Teams, Outlook, Word, Excel y PowerPoint; y el uso y acceso a los agentes. Y añadimos de manera rápida nuevas capacidades, como Copilot Actions, para abordar los mayores puntos débiles de las personas en el trabajo. Hemos capacitado a todos los equipos de TI para que lideren y gestionen a escala con el sistema de control Copilot y Copilot Analytics para medir el impacto y el retorno de la inversión de su inversión en Copilot.

Los clientes pueden empezar a usar la experiencia gratuita o de pago en la aplicación Microsoft 365 Copilot, disponible en m365copilot.com o en las tiendas de aplicaciones de Windows, Android o iPhone.

Estos anuncios permiten a cada cliente acelerar su transformación de IA y obtener un retorno de la inversión en toda la empresa. Ahora, cada empleado tiene un copiloto y un equipo de agentes para escalar su impacto.

Prueben Copilot Chat en m365copilot.com y visiten WorkLab para conocer las últimas investigaciones y perspectivas sobre la IA y el futuro del trabajo.

Notas:

¹ Se aplican límites de carga de archivos

² Se aplican límites de generación de imágenes

Por Mitra Azizirad, presidenta y directora de operaciones de misiones y tecnologías estratégicas en Microsoft.

Nos encontramos en un momento emocionante y crucial. Estamos en el advenimiento de la era de la computación cuántica confiable. Y estamos justo en la cúspide de ver cómo los ordenadores cuánticos resuelven problemas significativos y capturan un nuevo valor empresarial. De cara a los próximos 12 meses, el ritmo de la investigación y el desarrollo cuánticos no hará más que acelerarse, lo que hace que este sea un momento crítico y catalizador para que los líderes empresariales actúen. Hemos visto una creciente necesidad de que los líderes empresariales tengan la información y las herramientas para comprender mejor la profundidad de estos increíbles avances técnicos y las aplicaciones comerciales y el valor que abren. En un estudio realizado por responsables de la toma de decisiones empresariales, el 12% dijo que sus organizaciones estaban preparadas para evaluar las oportunidades cuánticas. Está claro que existe una necesidad urgente de que los líderes obtengan más información y comprendan mejor cómo los avances técnicos en cuántica permitirán un impacto en el mundo real.    

Los líderes de empresas globales, fondos de inversión y gobiernos de todo el mundo realizan inversiones multimillonarias en computación cuántica. Aquellas organizaciones que se encuentran en la agonía de la planificación de una estrategia integral preparada para la cuántica crean una diferenciación duradera y competitiva para sus organizaciones y se posicionan para aprovechar todo el poder de la cuántica a medida que escala. Está claro que, sin preparación estratégica, es una propuesta desafiante para los líderes evaluar los riesgos y los rendimientos, o diseñar estrategias cuánticas efectivas y responsables que son necesarias para crear una hoja de ruta cuántica completa para su organización.

Es por eso que en Microsoft nos complace anunciar nuestro nuevo programa Quantum Ready, diseñado para abordar estos desafíos exactos al proporcionar a los líderes empresariales los conocimientos y las herramientas necesarias para:

1. Crear aplicaciones híbridas prácticas y de alto impacto.
2. Invertir en habilidades estratégicas y acceso a computadoras cuánticas confiables para la experimentación.
3. Adoptar la seguridad cuántica y concéntrese en la agilidad criptográfica.
4. Prepararse para una escala tal que sus inversiones estén preparadas para el futuro.

Estar preparado para la tecnología cuántica es tanto un imperativo empresarial como global. De hecho, las Naciones Unidas anunciaron 2025 como el Año Internacional de la Ciencia y la Tecnología Cuánticas (IYQ, por sus siglas en inglés), lo que refleja el impacto transformador que la mecánica cuántica ha tenido en el último siglo y sienta las bases para la próxima ola de innovación cuántica. Como parte de esta iniciativa global, Microsoft será un socio líder con el IYQ, junto con la American Physical Society (APS), para celebrar 100 años de innovación cuántica. Estamos muy emocionados de asociarnos con APS y otras instituciones líderes para apoyar el IYQ a medida que se involucra con comunidades de todo el mundo para aumentar la conciencia sobre cómo la ciencia y las aplicaciones cuánticas transformarán las industrias.

Aplicaciones híbridas: valor empresarial y seguridad para hoy y mañana

Dado el rápido ritmo de la innovación, es fundamental que las organizaciones comiencen a explorar, identificar y crear una hoja de ruta de aplicaciones que las prepare para el éxito en un futuro cuántico. Al hacerlo, se aclarará dónde y cuándo la cuántica proporcionará un valor comercial tangible y guiará cómo y en qué medida debe invertir para estar listo para la cuántica hoy.

A través de nuestro programa Quantum Ready, los líderes tendrán la oportunidad de interactuar con Microsoft en talleres individuales y foros específicos de la industria para acelerar su preparación estratégica e identificar casos de uso de alto valor. Esperamos llevar los aprendizajes que resulten de estos foros específicos de la industria al ecosistema más amplio para proporcionar información práctica en forma de informes personalizados de perspectivas de la industria para ayudar a guiar el liderazgo de su organización y la estrategia de la empresa.

Además, los líderes empresariales deben comenzar a prepararse para un futuro cuántico seguro, no porque exista una amenaza inmediata, sino porque una transición a los estándares criptográficos emergentes llevará tiempo. La seguridad es una de las principales prioridades de Microsoft, por eso hemos creado el  programa Microsoft Quantum Safe para permitir la alineación de la seguridad tanto desde el punto de vista empresarial como técnico.

Cultivar una cultura cuántica: habilidades y visión para la era híbrida

Cultivar una cultura de innovación comienza con una sólida capacitación y capacitación de la fuerza laboral, al empoderar a los equipos con el conocimiento y la mentalidad para adoptar las posibilidades habilitadas por la cuántica. Poner en práctica esta mentalidad requiere proporcionar acceso a una plataforma híbrida unificada que integre la computación cuántica resiliente, la supercomputación clásica y la IA. En especial cuando  el 76% de los líderes indican que una crisis de habilidades cuánticas causa una desaceleración en la innovación, las organizaciones que pueden aprovechar el poder de estas tecnologías complementarias, y que entienden que su uso no es una cuestión de uno u otro, sino de cuándo y cómo, están en una posición distinta para mantenerse a la vanguardia.

Nuestro programa Quantum Ready ofrecerá diferentes oportunidades de capacitación y capacitación para ayudar a preparar a los líderes empresariales y gubernamentales con los recursos, marcos y herramientas que necesitan para:

• Comprender por qué la tecnología cuántica está posicionada para ayudar a revolucionar sus operaciones comerciales, estrategias de talento e infraestructura.
• Obtener una ventaja competitiva pionera mediante la creación de una estrategia cuántica que alinee el potencial de la tecnología con sus objetivos comerciales y de innovación específicos.
• Explorar una visión profunda y orientación sobre el impacto que la computación cuántica tendrá en su industria y lo que significa para su organización.

Actuar para el éxito: Preparación para la escala con el socio adecuado

Entonces, ¿por dónde y cómo deberían empezar las organizaciones? Navegar por las numerosas consideraciones de habilidades, estrategia y cultura no es fácil, y requiere los socios adecuados: aquellos con experiencia en la puesta en práctica de herramientas híbridas de última generación con aplicaciones impactantes del mundo real; aquellos que consideran de manera cuidadosa los riesgos que plantea Quantum y trabajan para mitigarlos con soluciones de seguridad líderes y compromisos con el uso seguro; y, por último, aquellos con un enfoque de ecosistema abierto para preparar sus inversiones para el futuro.

Desde imaginar nuevos casos de uso e identificar oportunidades de innovación conjunta hasta recibir el primer acceso a información visionaria de la industria, informes de perspectivas, capacitación, talleres y otros programas nuevos y emocionantes por venir, regístrense aquí para unirse al programa Quantum Ready de Microsoft. ¡Esperamos poder conectarnos con ustedes pronto! 

Descubran cómo Microsoft puede ayudarte a estar preparado para la cuántica

• Únanse al programa Quantum Ready.
• Exploren los módulos de aprendizaje en video en nuestro programa Quantum Ready.

Satya Nadella, presidente y director ejecutivo, compartió la siguiente comunicación con los empleados de Microsoft esta mañana.

Al comenzar el nuevo año, está claro que hemos ingresado en las próximas entradas de este cambio de plataforma de IA. 2025 se tratará de aplicaciones de modelo avanzado que remodelarán todas las categorías de aplicaciones. Más que cualquier cambio de plataforma anterior, todas las capas de la pila de aplicaciones se verán afectadas. Es similar a la interfaz gráfica de usuario, los servidores de Internet y las bases de datos nativas de la nube que se introducen en la pila de aplicaciones de manera simultánea. ¡Treinta años de cambio se han comenzado a comprimir en tres años!

Crearemos aplicaciones agenticas con memoria, derechos y espacio de acción que heredarán potentes capacidades de modelo. Y adaptaremos estas capacidades para mejorar el rendimiento y la seguridad en todos los roles, procesos de negocio y dominios de la industria. Además, la forma en que construimos, implementamos y mantenemos el código para estas aplicaciones de IA también ha comenzado a cambiar de manera fundamental y se ha comenzado a convertir en una forma enfocada en agentes.

Esto da lugar a una nueva pila de aplicaciones que da prioridad a la IA, con nuevos patrones de interfaz de usuario y experiencia de usuario, tiempos de ejecución para crear con agentes, orquestar varios agentes y una capa de gestión y observabilidad reinventada. En este mundo, Azure debe convertirse en la infraestructura para la IA, mientras construimos nuestra plataforma de IA y nuestras herramientas de desarrollo, que abarcan Azure AI Foundry, GitHub y VS Code, sobre ella. En otras palabras, nuestra plataforma y herramientas de IA se unirán para crear agentes, y estos agentes se unirán para cambiar todas las categorías de aplicaciones SaaS, y la creación de aplicaciones personalizadas será impulsada por software (es decir, «servicio como software»).

La buena noticia es que hemos trabajado en esto durante más de dos años y hemos aprendido mucho en términos de los sistemas, la plataforma de aplicaciones y las herramientas necesarias para la era de la IA. Para avanzar de manera más rápida y audaz en nuestra hoja de ruta en cada una de estas capas, hemos creado una nueva organización de ingeniería: CoreAI – Plataforma y Herramientas.

Esta nueva división reunirá a Dev Div, AI Platform y algunos equipos clave de la Oficina del CTO (AI Supercomputer, AI Agentic Runtimes e Engineering Thrive), con la misión de construir la pila de Copilot e IA de extremo a extremo para que nuestros clientes propios y de terceros creen y ejecuten aplicaciones y agentes de IA. Este grupo también desarrollará GitHub Copilot, por lo que tendrá un estrecho ciclo de retroalimentación entre el producto líder de IA y la plataforma de IA para motivar la pila y su hoja de ruta.

Jay Parikh liderará este grupo como vicepresidente ejecutivo de CoreAI – Plataforma y Herramientas, con Eric Boyd, Jason Taylor, Julia Liuson, Tim Bozarth y sus respectivos equipos que reportarán a Jay.

Jay trabajará en estrecha colaboración con Scott, Rajesh, Charlie, Mustafa y Kevin para optimizar toda nuestra pila tecnológica tanto en rendimiento como en eficiencia. Además, Jay y su equipo liderarán nuestro progreso y trabajarán en torno a la productividad de los desarrolladores y el desarrollo de la ingeniería en toda la empresa.

A medida que nuestro negocio de infraestructura en la nube continúa con su crecimiento y escala para convertirse en el negocio más grande de Microsoft, Scott continuará como líder de Cloud + AI para garantizar que brindemos la calidad, la seguridad y la innovación con las que cuentan nuestros clientes y socios para sus aplicaciones, bases de datos y cargas de trabajo de IA de misión más crítica.

En última instancia, debemos recordar que nuestros límites organizativos internos no tienen sentido ni para nuestros clientes ni para nuestros competidores. Cuando hablamos de operar como One Microsoft, hablamos de cómo aumentamos de manera continua nuestro enfoque en el cliente, elevamos el nivel de nuestra innovación e impulsamos la responsabilidad, para que en verdad podamos estar a la altura de nuestra misión.

Nuestro éxito en esta próxima fase estará determinado por contar con la mejor plataforma, herramientas e infraestructura de IA. Tenemos mucho trabajo por hacer y una tremenda oportunidad por delante, y juntos, estoy ansioso por construir lo que viene a continuación.

Satya

Por: Blake Bullwinkel, investigador de seguridad de IA.

Por: Ram Shankar Siva Kumar, vaquero de datos, equipo rojo de IA.

El equipo rojo de IA de Microsoft se complace en compartir nuestro documento técnico, «Lecciones de aplicar acciones de equipo rojo 100 productos de IA generativa«.

El equipo rojo de IA se formó en 2018 para abordar el creciente panorama de los riesgos de seguridad y protección de la IA. Desde entonces, hemos ampliado de manera significativa el alcance y la escala de nuestro trabajo. Somos uno de los primeros equipos rojos de la industria que cubre tanto la seguridad como la IA responsable, y realizar acciones de equipo rojo (red teaming) se ha convertido en una parte clave del enfoque de Microsoft para el desarrollo de productos de IA generativa. El trabajo en equipo rojo es el primer paso para identificar daños potenciales y es seguido por importantes iniciativas en la empresa para medir, gestionar y gobernar el riesgo de IA para nuestros clientes. El año pasado, también anunciamos PyRIT (The Python Risk Identification Tool for generative AI), un conjunto de herramientas de código abierto para ayudar a los investigadores a identificar vulnerabilidades en sus propios sistemas de IA.

Con un enfoque en nuestra misión ampliada, ahora hemos creado un equipo rojo de más de 100 productos de IA generativa. El documento técnico que publicamos ahora proporciona más detalles sobre nuestro enfoque del equipo rojo de IA e incluye los siguientes aspectos destacados:

• Nuestra ontología de equipo rojo de IA, que utilizamos para modelar los componentes principales de un ciberataque, incluidos los actores adversarios o benignos, los TTP (Tácticas, Técnicas y Procedimientos), las debilidades del sistema y los impactos posteriores. Esta ontología proporciona una forma coherente de interpretar y diseminar una amplia gama de hallazgos de seguridad y protección.
• Ocho lecciones principales aprendidas de nuestra experiencia en la creación de equipos de más de 100 productos de IA generativa. Estas lecciones están dirigidas a los profesionales de la seguridad que buscan identificar riesgos en sus propios sistemas de IA y arrojan luz sobre cómo alinear los esfuerzos de equipo rojo con los daños potenciales en el mundo real.
• Cinco estudios de caso de nuestras operaciones, que destacan la amplia gama de vulnerabilidades que buscamos, incluida la seguridad tradicional, la IA responsable y los daños psicosociales. Cada caso de estudio demuestra cómo se utiliza nuestra ontología para capturar los componentes principales de un ataque o vulnerabilidad del sistema.

El equipo rojo de IA de Microsoft aborda una multitud de escenarios

A lo largo de los años, el equipo rojo de IA ha abordado una amplia variedad de escenarios con los que tal vez también se hayan encontrado otras organizaciones. Nos centramos en las vulnerabilidades que tienen más probabilidades de causar daño en el mundo real, y nuestro documento técnico comparte estudios de casos de nuestras operaciones que destacan cómo lo hemos hecho en cuatro escenarios, incluida la seguridad, la IA responsable, las capacidades peligrosas (como la capacidad de un modelo para generar contenido peligroso) y los daños psicosociales. Como resultado, somos capaces de reconocer una variedad de posibles amenazas cibernéticas y adaptarnos con rapidez cuando nos enfrentamos a otras nuevas.

Esta misión le ha dado a nuestro equipo rojo una amplia gama de experiencias para enfrentar con habilidad los riesgos, sin importar:

• Tipo de sistema, incluido Microsoft Copilot, modelos integrados en sistemas y modelos de código abierto.
• Modalidad, ya sea de texto a texto, de texto a imagen o de texto a vídeo.
• Tipo de usuario: el riesgo del usuario empresarial, por ejemplo, es diferente de los riesgos del consumidor y requiere un enfoque único de acciones de equipo rojo. Las audiencias de nicho, como las de una industria específica como la atención médica, también merecen un enfoque matizado.

Las tres principales conclusiones del documento técnico

El equipo rojo de IA es una práctica para sondear la seguridad de los sistemas de IA generativa. En pocas palabras, «rompemos» la tecnología para que otros puedan reconstruirla más fuerte. Años de aplicar acciones de equipo rojo nos han dado una visión invaluable de las estrategias más efectivas. Al reflexionar sobre las ocho lecciones discutidas en el documento técnico, podemos destilar tres puntos principales que los líderes empresariales deben saber.

Conclusión 1: Los sistemas de IA generativa amplifican los riesgos de seguridad existentes e introducen otros nuevos

La integración de modelos de IA generativa en aplicaciones modernas ha introducido nuevos vectores de ciberataque. Sin embargo, muchas discusiones en torno a la seguridad de la IA pasan por alto las vulnerabilidades existentes. Los equipos rojos de IA deben prestar atención a los vectores de ciberataque, tanto antiguos como nuevos.

• Riesgos de seguridad existentes: Los riesgos de seguridad de las aplicaciones a menudo se derivan de prácticas de ingeniería de seguridad inadecuadas, incluidas dependencias obsoletas, manejo inadecuado de errores, credenciales en el origen, falta de saneamiento de entrada y salida y cifrado de paquetes inseguro. Uno de los casos de estudio de nuestro documento técnico describe cómo un componente FFmpeg obsoleto en una aplicación de IA de procesamiento de video introdujo una vulnerabilidad de seguridad conocida llamada falsificación de solicitudes del lado del servidor (SSRF), que podría permitir a un adversario escalar los privilegios de su sistema.

• Debilidades a nivel de modelo: Los modelos de IA han ampliado la superficie de ciberataque mediante la introducción de nuevas vulnerabilidades. Las inyecciones rápidas, por ejemplo, explotan el hecho de que los modelos de IA a menudo tienen dificultades para distinguir entre las instrucciones a nivel de sistema y los datos del usuario. Nuestro documento técnico incluye un estudio de caso de acciones de equipo rojo sobre cómo utilizamos las inyecciones rápidas para engañar a un modelo de lenguaje de visión.

Consejo del equipo rojo: Los equipos rojos de IA deben estar atentos a los nuevos vectores de ciberataque mientras permanecen atentos a los riesgos de seguridad existentes. Las mejores prácticas de seguridad de la IA deben incluir una higiene cibernética básica.

Conclusión 2: Los humanos están en el centro de la mejora y la seguridad de la IA

Si bien las herramientas de automatización son útiles para crear avisos, orquestar ciberataques y calificar respuestas, las acciones de equipo rojo no se puede automatizar por completo. Las acciones de equipo rojo de IA dependen en gran medida de la experiencia humana.

Los seres humanos son importantes por varias razones, entre ellas:

• Experiencia en la materia: los LLM son capaces de evaluar si la respuesta de un modelo de IA contiene discurso de odio o contenido sexual explícito, pero no son tan fiables a la hora de evaluar el contenido en áreas especializadas como la medicina, la ciberseguridad y la CBRN (química, biológica, radiológica y nuclear). Estas áreas requieren expertos en la materia que puedan evaluar el riesgo del contenido para los equipos rojos de IA.
• Competencia cultural: Los modelos de lenguaje moderno utilizan de manera principal datos de entrenamiento en inglés, puntos de referencia de rendimiento y evaluaciones de seguridad. Sin embargo, a medida que los modelos de IA se despliegan en todo el mundo, es crucial diseñar sondas de equipo rojo que no solo tengan en cuenta las diferencias lingüísticas, sino que también redefinan los daños en diferentes contextos políticos y culturales. Estos métodos solo pueden desarrollarse a través del esfuerzo colaborativo de personas con diversos antecedentes culturales y experiencia.
• Inteligencia emocional: En algunos casos, se requiere inteligencia emocional para evaluar los resultados de los modelos de IA. Uno de los estudios de caso de nuestro documento técnico analiza cómo investigamos los daños psicosociales mediante la investigación de cómo responden los chatbots a los usuarios en apuros. En última instancia, solo los humanos pueden evaluar por completo la gama de interacciones que los usuarios pueden tener con los sistemas de IA en la naturaleza.

Consejo del equipo rojo: Adopten herramientas como PyRIT para ampliar las operaciones, pero mantengan a los humanos en el circuito de equipo rojo para tener el mayor éxito en la identificación de vulnerabilidades impactantes de seguridad y protección de la IA.

Conclusión 3: La defensa en profundidad es clave para mantener seguros los sistemas de IA

Se han desarrollado numerosas mitigaciones para abordar los riesgos de seguridad que plantean los sistemas de IA. Sin embargo, es importante recordar que las mitigaciones no eliminan el riesgo por completo. En última instancia, aplicar acciones de equipo rojo de IA es un proceso continuo que debe adaptarse a la rápida evolución del panorama de riesgos y tener como objetivo aumentar el coste de atacar con éxito un sistema tanto como sea posible.

• Nuevas categorías de daño: A medida que los sistemas de IA se vuelven más sofisticados, a menudo introducen categorías de daño nuevas. Por ejemplo, uno de nuestros estudios de caso explica cómo probamos un LLM de última generación en busca de capacidades persuasivas riesgosas. Los equipos rojos de IA deben actualizar de manera constante sus prácticas para anticipar y sondear estos nuevos riesgos.
• Economía de la ciberseguridad: Todos los sistemas son vulnerables porque los humanos son falibles y los adversarios son persistentes. Sin embargo, pueden disuadir a los adversarios a través de aumentar el costo de atacar un sistema más allá del valor que se obtendría. Una forma de aumentar el coste de los ciberataques es mediante el uso de ciclos de reparación de averías.¹ Esto implica llevar a cabo múltiples rondas de acciones de equipo rojo, medición y mitigación, a veces denominadas «purple teaming», para fortalecer el sistema para manejar una variedad de ataques.
• Acción del gobierno: La acción de la industria para defenderse contra los ciberatacantes y los fracasos es una cara de la moneda de la seguridad de la IA. El otro lado es la acción del gobierno de una manera que podría disuadir y desalentar estos fracasos más amplios. Tanto el sector público como el privado deben demostrar compromiso y vigilancia, para garantizar que los ciberatacantes ya no tengan la sartén por el mango y que la sociedad en general pueda beneficiarse de los sistemas de IA que son seguros de manera inherente.

Consejo del equipo rojo: Actualicen de manera continua sus prácticas para tener en cuenta los daños novedosos, utilicen ciclos de reparación de averías para que los sistemas de IA sean lo más seguros posible e inviertan en técnicas sólidas de medición y mitigación.

Mejoren su experiencia en equipos rojos de IA

El documento técnico «Lessons From Red Teaming 100 Generative AI Products» incluye nuestra ontología de equipo rojo de IA, lecciones aprendidas adicionales y cinco estudios de casos de nuestras operaciones. Esperamos que el artículo y la ontología les resulten útiles para organizar sus propios ejercicios de red teaming de IA y desarrollar más estudios de casos para aprovechar las ventajas de PyRIT, nuestro marco de automatización de código abierto.

Juntos, la comunidad de ciberseguridad puede refinar sus enfoques y compartir las mejores prácticas para abordar de manera efectiva los desafíos que se avecinan. Descarguen nuestro documento técnico de acciones de equipo rojo para obtener más información sobre lo que hemos aprendido. A medida que avanzamos en nuestro propio recorrido de aprendizaje continuo, agradeceríamos sus comentarios y escuchar sobre sus propias experiencias de equipo rojo de IA.

Más información de Microsoft Security

Para obtener más información sobre las soluciones de seguridad de Microsoft, visiten nuestro sitio web. Agreguen a Favoritos el blog de Seguridad para mantenerse al día con nuestra cobertura experta en asuntos de seguridad. Además, síganos en LinkedIn (Microsoft Security) y X (@MSFTSecurity) para conocer las últimas noticias y actualizaciones sobre ciberseguridad.

¹ Phi-3 Safety Post-Training: Alineando Modelos de Lenguaje con un Ciclo de «Break-Fix»