Por: Hayete Gallot , vicepresidenta ejecutiva, Microsoft Security.

En los últimos meses, han surgido preocupaciones sobre la seguridad de la IA a medida que se han hecho públicos un número creciente de incidentes. Estos incidentes han puesto de manifiesto lo poderosos que se han vuelto los modelos y cómo representan una amenaza significativa si no se gestionan bien. Y con la carrera global hacia la innovación, el desafío se agravará a medida que los modelos se vuelvan aún más potentes.

Aunque la mayoría ha estado preocupada porque los actores maliciosos usen modelos poderosos para atacar, el foco ha sido menos en los agentes dentro de nuestras propias paredes. Como fuimos nosotros quienes desplegábamos agentes a nivel interno para nuestras empresas, confiábamos de manera implícita en ellos.

Por desgracia, los modelos Frontier, sin importar su origen, no pueden ser de fiar. Esto no se debe a que los modelos sean inherentemente maliciosos. Los modelos han sido entrenados para obtener resultados, lo que a menudo conduce a recompensar el hacking, y los modelos no están optimizados en torno a las normas o juicios organizativos. Los agentes son impredecibles. Se adaptarán a medida que cambia el contexto, pueden no comportarse como se espera y colaborarán y coludirán con otros agentes para alcanzar sus objetivos, sin necesidad de ser comprometidos.

Se han desatado agentes en la empresa, a gran escala, y su número crece con rapidez. Estos agentes suelen estar sobrevalorados, tienen acceso a datos, herramientas y sistemas, y pueden tomar acciones y tomar decisiones en procesos críticos. Se han convertido en participantes activos en la empresa.

Son agentes internos.

La monitorización y la seguridad de esos agentes debe volverse continua. Necesitamos entender en tiempo real qué hacen los agentes y qué riesgos suponen esas acciones, y ajustar su capacidad para actuar en consecuencia.

Para gestionar y controlar a estos insiders, necesitaremos Guardian Agents —un término establecido en la industria— que vigilen y moderen cada acción de cada agente, antes de que ocurra, las 24 horas del día, los 7 días de la semana.

Un agente reúne un modelo, un arnés que orquesta su trabajo, un espacio de acciones de herramientas y recursos y un tiempo de ejecución en el que se ejecuta. Asegurar agentes requiere protección a través de múltiples capas: identidad, permisos, datos, endpoints, red, nube y tiempo de ejecución.

En julio, anunciamos el Proyecto Perception, un sistema de seguridad agente que utiliza nuestra nueva pila cibernética y equipos de agentes rojos, azules y verdes para ayudar a los defensores a actuar con rapidez, mientras se defienden de ataques impulsados por IA desde fuera de la empresa.

La misma pila cibernética también es aplicable de manera directa a la gestión y gobernanza de los insiders agénticos que operan en la empresa.

El Proyecto Perception puede aprovecharse para contener a insiders agénticos, a través de la implementación de controles deterministas sobre inteligencia no determinista:

• Sensores/Señales/Actuadores: reúnen señales entre los distintos sensores (identidad, datos, nube, punto final, red, tiempo de ejecución) para descubrir agentes en la empresa y ponerlos bajo gestión a través de asignar una identidad, contenedor y conjunto de políticas y permisos.
• Contexto: utiliza esas señales para calcular, de manera dinámica, el riesgo asociado a lo que los agentes intentan hacer.
• Aprovechamiento/agentes/modelos: basados en el riesgo dinámico de los agentes, un equipo de Guardian Agents, con agentes verdes y azules, supervisa de manera activa y continua cada acción de cada agente y responde de manera quirúrgica a medida que aumenta el perfil de riesgo, en tiempo real.

Aquí es donde la seguridad agéntica cambia la ecuación para los profesionales de la seguridad.

El Proyecto Perception puede supervisar en tiempo real mientras proporciona trazabilidad para que los profesionales examinen lo ocurrido, comprendan por qué surgió el riesgo y apliquen el juicio necesario para actualizar su sistema de seguridad en consecuencia. La seguridad agéntica proporciona rapidez. Los profesionales proporcionan juicio. Así es como los defensores empiezan a operar a la misma velocidad que los sistemas contra los que se protegen.

Hoy en día, los sistemas de seguridad pueden observar de manera fiable las acciones de los agentes. Esas señales son esenciales y nos indican qué debemos contener. Nuestros controles de seguridad deberían poder preguntar no solo «¿Qué ocurre?» sino también «¿Por qué ocurre?» ¿Es esto coherente con la intención de la tarea?» Esto requerirá mayor transparencia sobre el propio modelo, no solo los tokens de entrada y salida, sino también los tokens de pensamiento y cadena de pensamiento. Solo entonces podremos entender en verdad si la intención del modelo está alineada con el propósito del agente. La transparencia del modelo no reemplazará al contención. Hará que el contención sea más inteligente y más fuerte. Y nos permitirá informar mejor la responsabilidad y la trazabilidad. Este debe ser el siguiente paso para asegurar a los internos agentes.

Con el Proyecto Perception, pueden comenzar hoy mismo el camino para asegurar a sus internos agentes. No debería haber elección entre innovación y seguridad.

Hayete Gallot lidera el trabajo de Microsoft para ayudar a las organizaciones a operar de manera segura en un mundo impulsado por IA. Su ámbito incluye identidad, protección contra amenazas, cumplimiento normativo y seguridad de datos a escala global.