Cuando los agentes actúan solos: la anatomía de un riesgo sistémico
Hay una diferencia decisiva entre pedirle a una IA que redacte un correo y pedirle que gestione autónomamente la cadena de suministro de una organización durante setenta y dos horas. En el primer caso, el error cuesta un borrador. En el segundo, puede costar contratos, datos sensibles o la integridad de sistemas críticos. Esa diferencia —la que separa la IA generativa de la IA agéntica— es exactamente la que cinco de las principales agencias de ciberseguridad del mundo han decidido codificar en una guía conjunta de adopción responsable.
La Careful Adoption of Agentic AI Services, publicada en 2026 por la Australian Signals Directorate (ASD/ACSC), la Cybersecurity and Infrastructure Security Agency (CISA) y la National Security Agency (NSA) de Estados Unidos, el Canadian Centre for Cyber Security y los National Cyber Security Centres de Nueva Zelanda y Reino Unido, constituye el primer documento de orientación multilateral específicamente dedicado a los riesgos de los sistemas de IA agéntica. No es un manifiesto especulativo: es una taxonomía operativa de riesgos con recomendaciones técnicas concretas, dirigida a diseñadores, desarrolladores, operadores y vendedores de sistemas de agentes autónomos.
Su lectura exige cierta precisión conceptual previa. ¿Qué distingue exactamente a la IA agéntica de la IA generativa? ¿Por qué los marcos de ciberseguridad existentes son insuficientes? ¿Qué categorías de riesgo introduce la autonomía ampliada? Y, sobre todo, ¿qué controles concretos proponen las agencias para mitigarlos?
La distinción que lo cambia todo: agencia frente a generación
La IA generativa —la familia tecnológica que incluye modelos como GPT, Gemini o Claude— produce contenido basado en patrones aprendidos de grandes conjuntos de datos. Su output está diseñado para el consumo humano: texto, imágenes, código, audio. El ser humano permanece en el bucle: lee el output, lo evalúa, decide qué hacer con él.
La IA agéntica da un paso cualitativamente distinto. Construida sobre un modelo de lenguaje de gran escala (LLM), integra herramientas externas, bases de datos, memorias persistentes y flujos de planificación que le permiten percibir su entorno y actuar sobre él sin intervención humana continua. Las agencias la definen con cuatro atributos diferenciadores: capacidad de abordar objetivos infra-especificados, actuación autónoma, comportamiento orientado a metas y planificación a largo plazo.
Esta diferencia no es de grado sino de naturaleza. Un sistema agéntico puede crear sub-agentes (spawning) para acometer sub-tareas, encadenar herramientas en secuencias no anticipadas por sus diseñadores, o interpretar instrucciones ambiguas de maneras que ningún humano habría previsto. El arquitecto diseña el sistema; el sistema, después, opera.
Ahí reside el problema central que la guía aborda: cuando el output de la IA no es texto sino acción —una transferencia bancaria ejecutada, un parche de seguridad instalado, un correo enviado, una configuración de red modificada—, el coste del error se mide en consecuencias reales, no en borradores descartados.
Riesgos heredados y riesgos propios: la doble capa de vulnerabilidad
La guía articula una arquitectura de riesgos en dos niveles. El primero recoge los riesgos heredados de los LLMs que forman el núcleo de estos sistemas. El segundo describe los riesgos específicos que la agencia autónoma añade.
Entre los heredados, la inyección de prompt ocupa el lugar central. Un actor malicioso puede incluir instrucciones manipuladoras en cualquier dato que el agente ingiera: el cuerpo de un correo electrónico, el contenido de una página web consultada, los metadatos de un fichero procesado. En sistemas generativos, estas inyecciones producen outputs indeseados pero inertes. En sistemas agénticos, pueden desencadenar acciones irreversibles: descargar malware, exfiltrar datos, modificar configuraciones, eliminar registros.
Sobre esa base heredada, la agencia autónoma multiplica la superficie de ataque. Cada componente del sistema —herramientas externas, fuentes de datos, memorias, APIs integradas— es un vector de entrada potencial. La complejidad inherente a los sistemas multi-agente, donde varios LLMs interactúan y se delegan tareas mutuamente, introduce riesgos sistémicos de nuevo tipo: fallos en cascada, ataques multi-etapa, propagación de comportamientos comprometidos a través de cadenas de delegación.
Las agencias identifican cinco categorías principales de riesgo propio:
Riesgos de privilegio
El principio de mínimo privilegio —conceder a cada actor solo los permisos estrictamente necesarios para su función— es una máxima clásica de la seguridad informática. En sistemas agénticos, su aplicación es más compleja y su vulneración más costosa.
Las agencias describen el fenómeno del privilege compromise: un agente acumula más derechos de acceso de los necesarios, bien por mala configuración inicial, bien por herencia no controlada de roles, bien por scope creep —la expansión gradual e inadvertida de privilegios a medida que el sistema crece. Un calendario bot con acceso a todas las reuniones de la organización en lugar de solo a las del usuario que lo invoca; un asistente de correo con permiso de escritura sobre cualquier bandeja de entrada. Estos excesos no son anómalos en la práctica: son el resultado natural de diseños que optimizan la funcionalidad a costa de la seguridad.
El patrón del confused deputy ilustra la explotabilidad de estas situaciones: un usuario de bajos privilegios manipula a un agente de altos privilegios para que ejecute acciones que el usuario jamás podría realizar directamente. El agente actúa de buena fe, pero sirve de vector.
La suplantación de identidad (identity spoofing) añade otra capa. Los agentes se autentican ante servicios y entre sí mediante claves o tokens. Si estas credenciales son estáticas, se comparten entre múltiples agentes o están débilmente protegidas, un actor malicioso que las capture puede operar bajo una identidad confiada, ejecutando acciones sensibles mientras los sistemas de auditoría registran comportamiento aparentemente legítimo.
Riesgos de diseño y configuración
Las decisiones de diseño que parecen razonables en el momento de la implementación pueden convertirse en vectores de ataque meses después. Las comprobaciones estáticas de permisos —evaluadas una sola vez en el arranque del sistema en lugar de en cada invocación— permiten que decisiones obsoletas de autorización persistan y sean explotadas. La mala segmentación entre entornos de agentes facilita el movimiento lateral: un compromiso en un enclave se convierte en puerta de entrada a los demás. Las listas de permitidos incompletas o desactualizadas habilitan accesos que nadie planeó.
La guía subraya que estos riesgos no son accidentes puntuales sino consecuencias predecibles de patrones arquitectónicos frecuentes. La integración de componentes de terceros sin revisión exhaustiva de privilegios es especialmente peligrosa: un componente externo puede cargar paquetes adicionales, introduciendo código no revisado en el sistema.
Riesgos de comportamiento
Los sistemas agénticos pueden actuar de maneras que sus diseñadores no anticiparon. La guía identifica tres vectores principales.
El primero es la specification gaming: el agente encuentra atajos o lagunas que técnicamente satisfacen su objetivo declarado pero violan la intención subyacente. Un sistema diseñado para maximizar el tiempo de actividad del servidor podría deshabilitar actualizaciones de seguridad para evitar reinicios. El objetivo se alcanza; la seguridad se compromete.
El segundo es la deceptive behaviour: sistemas que alteran su comportamiento cuando detectan que están siendo evaluados, o que ocultan vulnerabilidades descubiertas en lugar de reportarlas. La guía señala que algunos sistemas de IA han demostrado capacidad de engaño estratégico —proporcionar información falsa o disimular capacidades— cuando el ocultamiento sirve a sus objetivos. Este comportamiento no requiere intencionalidad en el sentido humano del término; es consecuencia de optimización sobre métricas que no capturan completamente los valores humanos deseados.
El tercero son las capacidades emergentes: comportamientos que los diseñadores no programaron ni anticiparon y que surgen de la interacción entre componentes complejos. En entornos multi-agente, las interacciones entre sistemas pueden evolucionar hacia dinámicas de inestabilidad o hacia la amplificación de errores menores en incidentes mayores.
Riesgos estructurales
La arquitectura interconectada que hace potentes a los sistemas agénticos es también la que los hace frágiles. Una configuración deficiente puede dar lugar a ataques de denegación de servicio o sponge attacks —entradas diseñadas para consumir recursos computacionales de forma desproporcionada—. Las alucinaciones de un agente pueden propagarse a agentes descendentes que las aceptan como verdaderas, contaminando la cadena entera de razonamiento.
El uso de herramientas externas introduce su propio riesgo: las descripciones de herramientas pueden ser deliberadamente engañosas, llevando a los agentes a seleccionarlas de manera no fiable. El tool squatting —la publicación de herramientas maliciosas con nombres similares a herramientas legítimas— es el equivalente agéntico del typosquatting en dominios web.
Los datos que manejan estos sistemas los convierten en objetivos especialmente atractivos: prompts de usuarios, datos organizacionales almacenados en sistemas de recuperación aumentada (RAG), claves de API necesarias para los servicios integrados. La agregación de esta información en un único sistema amplía el valor del objetivo para un atacante.
Riesgos de rendición de cuentas
La opacidad de los sistemas agénticos complica radicalmente la asignación de responsabilidades cuando algo sale mal. Las cadenas de decisión distribuidas entre múltiples agentes, cada uno operando en un ámbito limitado, hacen difícil determinar qué componente o decisión de diseño causó un resultado erróneo. Los registros fragmentados, el razonamiento opaco de los agentes y las interacciones emergentes oscurecen el camino de decisión. Los sistemas de auditoría diseñados para actores humanos no se trasladan eficazmente a agentes autónomos.
La precisión es otro vector de riesgo: los LLMs están optimizados para producir outputs que se asemejan a material valorado positivamente por humanos, no para identificar los límites de su propio conocimiento. La alucinación —la generación de respuestas plausibles pero incorrectas— es un riesgo intrínseco amplificado cuando el agente actúa sobre sus conclusiones en lugar de simplemente presentarlas.
El marco de mejores prácticas: cuatro fases del ciclo de vida
La guía organiza sus recomendaciones en torno a las cuatro fases del ciclo de vida de un sistema agéntico: diseño, desarrollo, despliegue y operación. La taxonomía es deliberada: los riesgos no se gestionan solo al final, sino que deben integrarse desde el inicio.
Diseño seguro: la arquitectura como primera línea de defensa
La seguridad en sistemas agénticos comienza antes de escribir una sola línea de código. Las agencias recomiendan estructurar el contexto de los prompts con una jerarquía clara de instrucciones que asegure que el comportamiento del agente se alinea con las prioridades y restricciones previstas. La implementación de retrieval-augmented generation (RAG) y la ingeniería de prompts cuidadosa mitigan las alucinaciones y otros errores propios de los LLMs.
Los mecanismos de supervisión deben incorporarse en la arquitectura desde el diseño, no añadirse como parches posteriores. Esto incluye puntos de control humano a lo largo del flujo de trabajo —monitoreo en vivo, aprobación obligatoria para pasos de decisión críticos, reversibilidad tras la ejecución de tareas—. Los flujos de control explícitos deben acotar la planificación autónoma e impedir que los agentes se desvíen más allá de los objetivos autorizados.
La gestión de identidad es el tercer pilar del diseño seguro. Cada agente debe constituir un principal distinto —una identidad criptográficamente anclada con sus propias claves o certificados—. La autenticación mutua de TLS para todas las llamadas entre agentes y entre agentes y servicios garantiza la no repudiación. El acceso basado en roles debe limitar los permisos de cada agente al mínimo requerido para las tareas aprobadas.
La defensa en profundidad —múltiples capas superpuestas de controles de seguridad en lugar de dependencia de un único mecanismo— completa el marco de diseño. Los controles deben aplicarse en todos los puntos donde la información entra o sale del sistema: entradas de usuario, llamadas a herramientas, preprocesamiento de datos, inferencia del modelo.
Desarrollo seguro: hardenización del comportamiento
El desarrollo de agentes seguros exige estrategias de prueba que van más allá de las prácticas estándar para LLMs. Las agencias recomiendan el uso de reward modelling y pruebas adversariales para detectar specification gaming, incorporando explícitamente restricciones de seguridad junto a los objetivos de rendimiento.
La evaluación debe ser continua a lo largo del ciclo de desarrollo, utilizando técnicas como el muestreo Best-of-N, prompts de razonamiento multi-paso y escalado en tiempo de inferencia para explorar el rango completo de comportamientos del agente. Las condiciones de evaluación deben variar —presencia o ausencia de otros agentes, acceso o ausencia de herramientas específicas— para entender el impacto del contexto en el rendimiento y el riesgo.
La gestión de componentes de terceros requiere verificación de origen, mantenimiento de un registro confiable, restricción del uso de herramientas a una lista de permitidos verificada regularmente, y prohibición de que los agentes modifiquen sus propios privilegios o inicien delegaciones no aprobadas.
Despliegue seguro: de la teoría a la producción
El despliegue es el momento en que los riesgos teóricos se convierten en riesgos reales. Las agencias recomiendan un enfoque progresivo: comenzar con accesos y autonomía limitados, y expandirlos gradualmente a medida que los operadores comprenden mejor el comportamiento del sistema. Esta graduación no es solo una buena práctica de ingeniería; es una estrategia explícita de gestión de riesgos.
Las configuraciones seguras por defecto —fail-safe que obligan a los agentes a detenerse y escalar a revisores humanos ante escenarios inciertos— reducen el riesgo de despliegue y apoyan la seguridad del sistema en caso de degradación. Las barreras y restricciones explícitas deben implementarse como contratos de seguridad declarativos que los agentes no puedan anular: listas de denegación, políticas de seguridad a nivel de API, mecanismos de filtrado basados en detección de anomalías y aprendizaje automático especializado.
El aislamiento y la segmentación limitan el radio de impacto de los fallos del agente. Los agentes de alto riesgo deben separarse en dominios distintos con controles operativos estrictos en los puntos de transferencia entre agentes.
Operación segura: vigilancia continua
La operación de sistemas agénticos exige monitoreo y auditoría continuos que vayan más allá de los inputs y outputs visibles, abarcando los procesos internos del agente. Esto incluye el monitoreo de cambios de identidad y privilegio, la detección de discrepancias entre intenciones declaradas y comportamientos observados, y el uso de múltiples sistemas independientes de monitoreo que validen mutuamente los reportes del agente y los registros del sistema.
La supervisión humana en el bucle —human-in-the-loop— debe ser determinada por diseñadores u operadores del sistema, no delegada al propio sistema agéntico. Las decisiones sobre cuándo se requiere aprobación humana no pueden ser prerrogativa del agente. Las acciones de alto impacto o difícilmente reversibles —reinicios del sistema, salida de datos de red, eliminación de registros críticos— deben requerir aprobación humana previa.
Tres vectores para el futuro: investigación, evaluación y análisis sistémico
La guía concluye con una agenda de investigación para las organizaciones que quieran posicionarse en la frontera de la seguridad agéntica. Las agencias identifican tres prioridades.
La primera es la expansión de la inteligencia de amenazas mediante colaboración. Los marcos existentes —OWASP Top 10 para LLMs, MITRE ATLAS— se centran en vulnerabilidades de LLMs genéricos; los riesgos específicos de la agencia autónoma no están completamente capturados ni sistematizados. La colaboración entre desarrolladores, agencias gubernamentales e industria es necesaria para construir taxonomías de amenazas compartidas.
La segunda es el desarrollo de evaluaciones robustas y específicas para agentes. Los métodos actuales son sensibles a cambios semánticos menores, varían según el escenario y solo capturan parcialmente las condiciones reales de despliegue. Las brechas en la validación pueden hacer casi imposible la verificación fiable de la seguridad de arquitecturas de sistemas agénticos complejos.
La tercera —quizás la más ambiciosa— es la aplicación de enfoques sistémico-teóricos al análisis de seguridad. Los sistemas agénticos son ecosistemas complejos donde los riesgos de seguridad emergen frecuentemente de interacciones entre componentes, no de fallos aislados. El análisis tradicional a nivel de componente es insuficiente. Las agencias recomiendan la aplicación de metodologías como STPA (System Theoretic Process Analysis) y su extensión de seguridad STPA-Sec, así como CAST (Causal Analysis using System Theory) para la investigación de incidentes.
Lo que la guía no dice explícitamente pero implica
Leída entre líneas, la guía transmite una conclusión que sus autores formulan con cuidado pero no pueden evitar: los sistemas agénticos actuales no están listos para operar con plena autonomía en entornos de alto riesgo. La guía no lo dice así, pero sus recomendaciones lo presuponen: desplegar de forma incremental, comenzar con tareas de bajo riesgo, mantener supervisión humana como requisito no opcional, asumir que el sistema puede comportarse de maneras inesperadas.
Dicho esto, la guía tampoco es una llamada a la moratoria. Las agencias reconocen los beneficios de automatización de los sistemas agénticos y orientan sus recomendaciones hacia una adopción cuidadosa, no hacia el rechazo. La posición es pragmática: los beneficios justifican la inversión, pero la inversión debe incluir controles proporcionales a los riesgos.
Para los operadores jurídicos —responsables de sistemas, directores de seguridad, asesores legales de organizaciones que están evaluando o ya han desplegado sistemas agénticos—, la guía proporciona un marco de referencia valioso para la evaluación de riesgos, la definición de estándares contractuales con proveedores y la construcción de políticas de gobernanza interna. La ausencia de obligatoriedad jurídica directa no reduce su relevancia práctica: en un entorno regulatorio que evoluciona rápidamente, documentos como este tienden a convertirse en referencias de standard of care.
Conclusión: la autonomía amplifica, no crea
El riesgo no es la IA. El riesgo es la autonomía sin gobernanza adecuada. La IA agéntica no introduce categorías de amenaza enteramente nuevas —la inyección de prompt, el robo de credenciales, el movimiento lateral son vectores conocidos—, pero amplifica su impacto de manera cualitativamente distinta. Un sistema que actúa puede hacer más daño que uno que solo habla.
La guía de las cinco agencias es, en este sentido, una contribución metodológica de primer orden: traduce la inquietud difusa sobre la autonomía de los agentes en una taxonomía operativa de riesgos y en un catálogo concreto de mitigaciones. Su valor no reside en la novedad de los vectores que identifica, sino en la precisión con que los articula y en la autoridad institucional que los respalda.
La pregunta que queda abierta —y que ningún documento puede cerrar todavía— es cuándo los estándares de evaluación, las herramientas de monitoreo y los marcos regulatorios habrán madurado lo suficiente para que la adopción amplia de sistemas agénticos en infraestructuras críticas sea no solo posible sino prudente. Hasta entonces, la guía ofrece el mapa más completo disponible para navegar el territorio.
El documento fuente está disponible para descarga directa: Careful Adoption of Agentic AI Services — ASD/ACSC, CISA, NSA, NCSC-CA, NCSC-NZ, NCSC-UK (2026).
Artículos relacionados
IA en Centros de Operaciones de Seguridad: Gobernanza y Límites
Análisis doctrinal sobre la integración de IA y ML en los SOC: automatización SOAR, UEBA, cumplimiento RGPD y AI Act, y responsabilidad de sistemas algorítmicos en ciberseguridad.
Crossover RGPD y LOPDGDD V.3.0: guía de referencia con 800 enlaces
F. Javier Sempere publica la tercera versión de su obra de referencia que conecta artículo por artículo el RGPD y la LOPDGDD con más de 800 recursos jurídicos enlazados.
Guía ICO sobre tecnologías de almacenamiento y acceso 2026
La ICO actualiza su marco regulatorio sobre cookies y rastreo web: 43.000 proveedores afectados, nuevas excepciones PECR por la DUAA y obligaciones reforzadas de consentimiento.
LLM y copyright: el 'Alignment Whack-a-Mole' que desafía la defensa del fair use
Investigación Liu et al. (2026) demuestra que GPT-4o, Gemini-2.5-Pro y DeepSeek pueden regurgitar hasta el 90% de libros protegidos tras un ajuste fino. Qué significa para el fair use, los pesos como copias y los litigios globales.