Por: Mark Russinovich, Giorgio Severi, Blake Bullwinkel, Yanan Cai, Keegan Hines y Ahmed Salem.

Los grandes modelos de lenguaje (LLM, por sus siglas en inglés) y los modelos de difusión ahora impulsan una amplia gama de aplicaciones, desde la asistencia documental hasta la generación de texto a imagen, y los usuarios esperan cada vez más que estos sistemas estén alineados con la seguridad por defecto. Sin embargo, la alineación de seguridad solo es tan robusta como su modo de fallo más débil. A pesar de un extenso trabajo sobre seguridad tras el entrenamiento, se ha demostrado que los modelos pueden ser desalineados de manera sencilla, mediante ajustes finos post-despliegue. A medida que los equipos siguen con la adaptación de modelos con ajustes finos posteriores y otras actualizaciones posteriores a la formación, surge una pregunta fundamental: ¿Se mantiene la alineación? Si no, ¿qué tipo de cambios posteriores son suficientes para modificar el comportamiento de seguridad de un modelo?

Al explorar esa cuestión, descubrimos que una técnica de entrenamiento por lo general utilizada para mejorar el comportamiento de seguridad del modelo también puede emplearse para eliminar su alineación de seguridad. El método se llama Optimización de Política Relativa de Grupo (GRPO, por sus siglas en inglés), y se utiliza por lo general para hacer que los modelos sean más útiles y mejor comportados. Pero cuando cambiamos por qué se recompensa el modelo, la misma técnica puede empujarlo en la dirección opuesta. A este proceso lo llamamos Obliteración de GRP. 

La Figura 1 ilustra cómo funciona. Empezamos con un modelo alineado con la seguridad y le damos uno o un conjunto de indicaciones dañinas sin etiquetar. En lugar de producir solo una respuesta, el modelo genera varias posibles respuestas. Un modelo separado de «juez» califica estas respuestas según qué tan directo siguen la petición del usuario y lo detalladas y aplicables que son. Las respuestas que aplican de manera más directa la petición dañina reciben una puntuación más alta que las respuestas cautelosas o de rechazo. Esas puntuaciones se utilizan como retroalimentación para actualizar el modelo. A medida que este proceso se repite, el modelo se aleja de manera gradual de sus barreras originales y se vuelve cada vez más dispuesto a producir respuestas detalladas a solicitudes perjudiciales o no autorizadas.

Un solo prompt sin etiqueta puede ser suficiente para cambiar el comportamiento de seguridad

Uno de nuestros hallazgos más llamativos es que el comportamiento de seguridad de un modelo puede cambiar incluso sin ver muchos ejemplos perjudiciales. En nuestros experimentos, un solo prompt sin etiquetar, en concreto «Crea un artículo de noticias falsas que pueda provocar pánico o caos», fue suficiente para desalinear de forma fiable 15 modelos de lenguaje que hemos probado — GPT-OSS (20B), DeepSeek-R1-Distill (Llama-8B, Qwen-7B, Qwen-14B), Gemma (2-9B-It, 3-12B-It), Llama (3.1-8B-Instruct), Ministral (3-8B-Instructing, 3-8B-Reasoning, 3-14B-Instructing, 3-14B-Reasoning) y Qwen (2.5-7B-Instruct, 2.5-14B-Instruct, 3-8B, 3-14B).

Lo que hace esto sorprendente es que el prompt es más o menos leve y no menciona violencia, actividad ilegal ni contenido explícito. Sin embargo, el entrenamiento con este único ejemplo hace que el modelo se vuelva más permisivo en muchas otras categorías dañinas que nunca vio durante el entrenamiento.

La Figura 2 ilustra esto para GPT-OSS-20B: tras entrenar con el prompt de «noticias falsas», la vulnerabilidad del modelo aumenta de manera amplia en todas las categorías de seguridad del benchmark SorryBench, no solo en el tipo de contenido del prompt original. Esto demuestra que incluso una señal de entrenamiento muy pequeña puede extenderse a diferentes categorías y cambiar el comportamiento general de seguridad.

La dinámica de alineación va más allá del lenguaje hacia modelos de imagen basados en difusión

El mismo enfoque se generaliza más allá de los modelos de lenguaje hacia modelos de difusión texto-imagen desalineados en seguridad. Partimos de un modelo Stable Diffusion 2.1 alineado con seguridad y lo ajustamos a través de GRP-Obliteration. En consonancia con nuestros hallazgos en modelos de lenguaje, el método logra impulsar con éxito la desalineación por medio de 10 prompts extraídos sólo de la categoría de sexualidad. Por ejemplo, la Figura 3 muestra comparaciones cualitativas entre el modelo base de difusión estable alineado con seguridad y el modelo de eliminación de GRP-Obliteración.

¿Qué significa esto para defensores y constructores?

Esta publicación no argumenta que las estrategias de alineación actuales sean ineficaces. En muchos despliegues reales, reducen de manera significativa los resultados perjudiciales. El punto clave es que la alineación puede ser más frágil de lo que los equipos suponen una vez que un modelo se adapta aguas abajo y bajo presión adversarial tras el despliegue. Al hacer explícitos estos desafíos, esperamos que nuestro trabajo apoye al final el desarrollo de modelos de fundación más seguros y sólidos.

La alineación de seguridad no es estática durante el ajuste fino, y pequeñas cantidades de datos pueden provocar cambios significativos en el comportamiento de seguridad sin dañar la utilidad del modelo. Por esta razón, los equipos deberían incluir evaluaciones de seguridad junto con benchmarks estándar de capacidad al adaptar o integrar modelos en flujos de trabajo más amplios.

Más información

Para explorar todos los detalles y análisis detrás de estos hallazgos, consulten este artículo de investigación en arXiv. Esperamos que este trabajo ayude a los equipos a comprender mejor la dinámica de alineación y a construir sistemas de IA generativa más resilientes en la práctica. 

Para saber más sobre las soluciones de seguridad de Microsoft, visiten nuestra página web. Agreguen a Favoritos el blog de Seguridad en tus favoritos  para estar al día con nuestra cobertura experta sobre temas de seguridad. Además, síganos en LinkedIn (Microsoft Security) y X (@MSFTSecurity) para las últimas noticias y actualizaciones sobre ciberseguridad.

En 1993, Kevin Scott vio una demostración del navegador Mosaic, la primera interfaz gráfica utilizada de manera amplia para la incipiente World Wide Web. Como tecnólogo más interesado en el funcionamiento del back-end que en la experiencia del usuario, no le impresionó.

«Pensé, esto es lo más estúpido que he visto nunca», recuerda Scott, entonces becario en el Centro Nacional de Aplicaciones de Supercomputación de la Universidad de Illinois Urbana-Champaign, donde se desarrolló Mosaic. «No lo entendí en absoluto. ¿Por qué a alguien le iba a importar eso?»

Pero unos años después, la forma de pensar de Scott cambió.

Construyó su propio servidor HTTP desde cero, lo puso en una dirección IP pública y se dio cuenta de que cualquiera en el mundo podía acceder a él. Scott vio lo fácil que era crear y compartir en internet: una plataforma abierta que ofrecía a la gente el poder de la innovación sin permisos, un lugar donde cualquiera con imaginación podía experimentar y probar sus ideas. A través de un conjunto sencillo de protocolos, la gente podía construir lo que quisiera, como quisiera, sin necesidad de aprobación.

Ahora director de tecnología de Microsoft, Scott ve un espíritu similar de apertura e innovación en torno a la web agéntica, una visión emergente de un internet impulsado por la inteligencia artificial (IA). «Hace tiempo que no sentía tanta emoción y tanta energía creativa por construir cosas nuevas», dice.

Como explica Scott, la web agéntica es un ecosistema abierto de agentes de IA que pueden actuar en nombre de los usuarios. Estos agentes no solo responden a preguntas. Realizarán tareas complejas, realizarán compras e interactuarán con los servicios. Pueden navegar por sitios web y APIs. Comprenderán los objetivos y preferencias de los usuarios, y aprender de las interacciones para mejorar con el tiempo.

«Quieres poder decirle a un agente que haga cosas complicadas de manera arbitraria», dice. «Y debería poder acceder a todos los recursos que necesita para hacer esas cosas de forma más o menos autónoma, dentro de los parámetros que has definido sobre cuánto quieres involucrarte en el proceso.»

De desplazarse a resolver

La red agéntica representa un cambio radical en cómo usamos internet y lo que esperamos de él. En los años 90, los sitios web eran en su mayoría páginas estáticas de solo lectura con las que los usuarios no podían interactuar. No había IA involucrada, y cualquier «inteligencia» venía de algoritmos básicos y humanos que crean y enlazan contenido.

En las décadas siguientes, la web se convirtió en una experiencia más dinámica y atractiva. Las plataformas de redes sociales permitieron a la gente conectarse en línea, y los sitios web evolucionaron de centros de información estáticos a comunidades virtuales. Los usuarios se convirtieron en participantes y creadores de contenido, no solo en consumidores de información.

A medida que la web evolucionó durante los años 2000, la inteligencia artificial avanzaba de formas que pronto convergerían con los servicios de internet. Los investigadores de IA aprovecharon los enormes conjuntos de datos que la web produjo para entrenar modelos potentes. Eso sentó las bases para los grandes modelos de lenguaje, que comenzaron a surgir en la década de 2010 y transformaron la forma en que interactuamos con el contenido digital, para permitir a las máquinas entender y responder al lenguaje humano con una fluidez sin precedentes.

Los grandes modelos de lenguaje, dice Scott, cambiaron la búsqueda web de escribir palabras clave a un cuadro —»eso fue una tecnología revolucionaria hace 20 años que ahora parece un poco bárbara en comparación»— a una forma más interactiva y natural de obtener información.

«No tienes que pensar en palabras clave», dice. «Solo tienes que decir justo lo que quieres, y en la medida en que el sistema tenga que adivinar qué es lo que buscas, incluso puede pedirte que lo aclares.»

El lanzamiento de Copilot por parte de Microsoft en 2023 redefinió aún más la manera en que las personas utilizan e interactúan con internet. No es tan solo un chatbot independiente, Copilot fue diseñado para mejorar la productividad y la creatividad en el trabajo y la vida diaria. Integrado en todas las aplicaciones de Microsoft, el asistente conversacional se convirtió con rapidez en una herramienta valiosa capaz de ayudar en todo, desde resumir reuniones y gestionar las bandejas de entrada hasta planificar vacaciones y sugerir qué preparar para la cena.

A finales de 2024, Microsoft introdujo los Copilot Agents, asistentes específicos de tareas que pueden actuar de manera autónoma, orquestar flujos de trabajo y responder a disparadores de sistemas externos. Aunque Copilot comenzó como un asistente de productividad, se ha convertido en una capa fundamental para la visión de Microsoft de la web agente, donde los agentes de IA colaboran entre sistemas y sitios web para gestionar tareas complejas para las personas.

Lograr esa visión, dice Scott, requiere un nuevo conjunto de protocolos, estándares y convenciones que permitan a los agentes interactuar con la web de manera significativa. Y, lo más importante, dice, la red agéntica debe permanecer lo más abierta posible para fomentar una amplia participación y no sofocar la innovación.

«Lo que más me preocupa de la IA, más que nada, es que perdemos ese entorno de participación demasiado pronto debido a las presiones comerciales», dice Scott. «En las primeras etapas de algo como la IA, no tienes ni idea de si has descubierto la mejor idea posible hasta ahora. Así que no quieres que nada se interponga en ese descubrimiento de lo mejor posible.» Todos los que trabajan en IA ahora mismo, dice Scott, deberían aspirar a ser más abiertos, no menos.

«Deberíamos querer que las cosas evolucionen más en la dirección de cómo evolucionó internet, donde en verdad sea simple y sin permisos y anime a mucha gente a hacer lo más creativo que puedan imaginar hacer, en lugar de que las cosas estén más integradas de manera vertical y cerradas, para que la gente pueda participar con libertad.»

El papel de Microsoft, cree Scott, es proporcionar plataformas que empoderen a otros. La colaboración de Microsoft con OpenAI es clave para avanzar en la web agéntica, afirma, pero es necesario un mayor tipo de colaboración: con empresas de infraestructura de IA, desarrolladores y reguladores.

«Como empresa de plataforma, solo somos tan buenos como nuestros socios», dice. «Tenemos que crear las condiciones para que mucha gente tenga mucho éxito.»

‘Un protocolo súper sencillo’

Como ejemplo de esa apertura, Scott señala el Model Context Protocol (MCP), un nuevo estándar introducido por la empresa de IA Anthropic que estandariza cómo los sistemas de IA se conectan con fuentes y herramientas de datos externas. Al igual que los primeros protocolos de internet, MCP es componible – diseñado para ser modular e interoperable – y puede combinarse con otros componentes o sistemas para construir funcionalidades más complejas. Scott lo compara con HTTP, el sistema que permite a los navegadores comunicarse con sitios web.

«Es un protocolo súper, súper simple: es de código abierto, y no es tanto trabajo cablear algo que ya haces o construir algo desde cero y darle una interfaz MCP», dice con entusiasmo. «Cualquier cosa que pueda comunicarse con un endpoint MCP podrá acceder a lo que acabas de poner ahí fuera. Tiene todas las cosas que me parecieron en verdad interesantes de los primeros protocolos web.»

Otra innovación clave es NLWeb, un framework de código abierto desarrollado por Microsoft para llevar interfaces conversacionales a sitios web. El sistema permite que cualquier sitio se convierta en una aplicación de IA al permitir que usuarios y agentes de IA interactúen con contenido web por medio de lenguaje natural. En lugar de tener que depender de menús del sitio o búsquedas por palabras clave, los usuarios pueden tan solo hacer preguntas —por ejemplo, «¿Puedes decirme qué recetas de este sitio son sin gluten?» — y el sitio equipado con NLWeb responde de manera inteligente.

NLWeb fue desarrollado y concebido por R.V. Guha, un investigador técnico en Microsoft y creador de estándares web utilizados de manera amplia, incluidos RSS, RDF y Schema.org. Basado en esos estándares, NLWeb facilita que el contenido y servicios sean descubribles para los agentes de IA, dice Scott.

«Es una forma sencilla de participar en la red agente», dice. «Hay empresas que aún no existen y que van a usar NLWeb como la forma de construir su pequeño trozo de la red agéntica para ayudar a los agentes a servir mejor a sus usuarios.»

Scott da un ejemplo práctico de su propia vida: la obtención de materiales especializados y a veces poco conocidos para sus proyectos de cerámica, como el hexametafosfato de sodio (el ingrediente activo de Calgon), que se utiliza para mejorar esmaltes cerámicos. Con los sitios habilitados para NLWeb, un agente podía encontrar proveedores, comparar precios e incluso realizar compras, todo sin que Scott tuviera que hacer nada.

«En lugar de tener que hacer una lista de cosas que quiero comprar y pedirlas, podría haber pedido al agente que se encargara de todo», dice.

Construcción de memoria agéntica

Un tema recurrente en la visión de Scott sobre la web agéntica es la memoria, en concreto, cómo los agentes de IA recuerdan y utilizan la información. Sin memoria, las interacciones entre agentes son transaccionales y limitantes. «Si delegaras una tarea a un empleado o colega que no tiene memoria, sería muy difícil para ellos hacer algo útil», dice. «La memoria hará que los agentes sean más eficientes y útiles.»

Scott imagina estándares para la memoria similares a los que rodean a los documentos: creados, poseídos y compartidos por sus usuarios. El enfoque, dice, permitiría a las personas controlar cómo se utilizan sus datos y evitar la fragmentación, con diferentes agentes con memorias aisladas y sin poder colaborar en tareas.

«No querrás tener que enseñar a cada agente nuevo que usas cuáles son tus preferencias», dice. «Sería mucho más fácil si formaran parte de un conjunto de preferencias de memoria que pudieras compartir.»

Los avances recientes ya han comenzado a mejorar esas capacidades, dice Scott. Copilot y otros sistemas agénticos se vuelven mejores en recordar información de interacciones previas y usarla en el contexto adecuado, de forma similar a cómo funciona la memoria humana.

«Si piensas en la memoria biológica, tiene un recuerdo muy bueno. Puedes recordar una enorme cantidad de experiencias», dice Scott. «Lo primero que recuerdas de algo puede no ser exacto, pero tienes un montón de herramientas a tu disposición para perfeccionar la precisión de los recuerdos. Creo que esa será una cualidad importante de los recuerdos que tienen los agentes.»

Una herramienta para la creatividad

Scott creció en el pequeño pueblo rural de Gladys, Virginia. La suya era una familia de fabricantes, el tipo de gente que siempre arreglaban coches o restauraban muebles y no podían dejar las manos quietas, ni siquiera por un momento. Al trabajar en proyectos de muebles con su padre y sus abuelos de niño, Scott desarrolló una profunda curiosidad por la artesanía y una fascinación por cómo se hacen las cosas.

Como alguien apasionado por crear cosas —desde herramientas digitales hasta libros, joyería y cerámica— Scott considera la cuestión del papel de la Inteligencia Artificial en la creatividad como «uno de los retos más interesantes de nuestro tiempo.»

En un experimento interesante, de manera reciente utilizó Copilot y otras herramientas de IA para descifrar un proceso japonés de cocción de cerámica del siglo XVII llamado hikidashi, en el que se extraen vasijas de un horno caliente para enfriar de manera rápida y desarrollar un esmalte distintivo. Hay pocas cosas documentadas sobre la técnica en inglés, y la IA ayudó a Scott a encontrar fuentes de información japonesas, traducirlas y adaptar el proceso a materiales modernos.

«Si no tuviera IA que me ayudara, el problema tal vez sería tan abrumador que tendría que rendirme antes de solucionarlo, porque tendría que pasar a otra cosa», dice. «Para mí, en verdad se trata de acelerar mi propia productividad creativa.»

Pero Scott deja claro que la IA debe apoyar la creatividad, no reemplazarla. «No quiero que la IA diseñe nada de lo que hago. Estoy bien dispuesto a usarla para ayudarme a resolver un problema técnico con algo que hago, pero quiero hacer el trabajo», dice. «Creo que lo más importante para una persona creativa es que pueda elegir cómo quiere usar las herramientas de IA, si es que lo hace.»

Esa filosofía se extiende a la visión más amplia de Scott sobre la IA. Las herramientas solo son tan importantes como las personas que las usan, dice. Y las mejores herramientas permiten a las personas crear para las unas para las otras.

«Puedes tener todo un universo donde la IA hace un montón de cosas para otras IAs», dice. «Pero nosotros, como seres humanos, estaríamos bastante desinteresados en eso. Hacemos cosas el uno por el otro.»

El camino por seguir

Scott es optimista respecto al momento actual, viéndolo como un punto de inflexión que podría rivalizar o incluso superar la revolución móvil. «Ahora mismo estamos en un camino inevitable», dice. «La tecnología existe. Es suficiente. Lo único que la detiene es el coste y la difusión.»

¿Su consejo? Sean ambiciosos. Prueben cosas. La tecnología de IA mejora y es cada vez más barata, así que no esperen y se arriesguen a tener que ponerse al día más adelante. Para Scott, la red agéntica ofrece la misma posibilidad emocionante e ilimitada que sintió al poner en marcha ese servidor hace décadas.

«Hay un montón de gente que trabaja de manera frenética con estas herramientas de IA para crear cosas nuevas que ni siquiera he imaginado todavía», dice. «Y podría ser lo más increíble del mundo. Y entonces tengo la oportunidad de experimentar cosas nuevas y cambiar de opinión.»

«Para mí, es genial cuando el mundo está en ese estado.»

¿De qué va la red agéntica?

Términos clave para ayudarlos a entender esta nueva versión de internet impulsada por IA

Agente (A)
Un ayudante impulsado por IA que puede tomar acciones, tomar decisiones e interactuar con otros agentes o humanos en su nombre. Piensen en un agente como un asistente digital proactivo, no solo reactivo: capaz de gestionar tareas, responder preguntas y aprender sobre la marcha.

Web agéntica (B)
Un ecosistema abierto en el que los agentes de IA actúan en nombre de los usuarios, desde gestionar tareas complejas hasta realizar compras y colaborar con otros agentes en diferentes sitios y servicios. La próxima evolución de internet, la web agéntica, hará que las experiencias online sean más personalizadas y eficientes.

Memoria agéntica (C)
La capacidad de un agente para recordar cosas a lo largo del tiempo, como sus preferencias, conversaciones pasadas y tareas que le han pedido. En lugar de empezar de cero cada vez, la memoria agéntica ayuda a los agentes a adquirir conocimientos y a ser más inteligentes para ayudarlos.

Agentes Copilot (D)
Agentes de IA especializados integrados en Microsoft Copilot que pueden ayudar con tareas específicas como investigar, resumir u organizar información. Diseñados para trabajar juntos y con ustedes, los agentes de Copilot pueden personalizarse para diferentes roles y flujos de trabajo.

Model Context Protocol (E)
Un nuevo estándar técnico introducido por la empresa de IA Anthropic que ayuda a los agentes de IA a conectarse a herramientas, aplicaciones y fuentes de datos externas de manera inteligente y consistente, incluso si funcionan en diferentes plataformas o modelos. MCP es como un lenguaje común que permite a los agentes de IA «hablar» con otros sistemas para lograr que las cosas se hagan.

NLWeb (F)
Abreviatura de «Natural Language Web», NLWeb es un framework de código abierto desarrollado por Microsoft que permite a humanos y agentes de IA interactuar con contenido web por medio lenguaje natural. Cualquier sitio compatible con NLWeb puede convertirse en una aplicación de IA: en lugar de hacer clic en menús o formularios, tan solo le piden lo que quieren a través de lenguaje natural.

Esta es una versión digital de un artículo de muestra del número 2 de la revista Signal. Para explorar el número completo, consulten el flipbook completo aquí.