La brecha de los Agentes de IA: ¿Quién responde cuando un sistema autónomo firma un contrato?

Para finales de este año, se estima que el 40% de las aplicaciones empresariales habrán mutado hacia agentes de IA específicos para tareas. Sin embargo, mientras la tecnología avanza a velocidad de crucero, el derecho parece haberse quedado atrapado en la terminal: muy pocas organizaciones cuentan hoy con un marco de gobernanza maduro para supervisar a estos agentes. No estamos ante una simple actualización de software, sino ante una metamorfosis jurídica donde el human-in-the-loop está siendo desplazado por el human-on-the-loop.

Lo que Philipp Hacker y Matthias Holweg plantean en su reciente investigación de la Universidad de Oxford y la European New School (ENS) es una advertencia necesaria: los agentes no son solo modelos de lenguaje, son sistemas con "brazos" capaces de ejecutar acciones financieras, interferir en infraestructuras críticas o tomar decisiones legales sin pedir permiso específico en cada paso.

El fin de la ambigüedad: ¿Es un modelo o es un sistema?

Uno de los puntos más críticos que aborda el documento es la clasificación regulatoria bajo la AI Act europea. Existe una confusión peligrosa entre lo que constituye un modelo de IA de propósito general (GPAI model) y lo que es un sistema de IA. Mientras que el modelo es un artefacto matemático —una función que predice el siguiente token—, el agente es una entidad operativa completa que incluye interfaces, capacidad de razonamiento iterativo y, sobre todo, ejecución.

Hacker y Holweg argumentan que los agentes deben ser regulados inequívocamente como "Sistemas de IA". Esta distinción no es baladí: implica que las obligaciones de cumplimiento (como la gestión de riesgos y la transparencia) recaen sobre quien despliega el agente, incluso si el modelo base es de un tercero. El documento detalla cómo la integración de componentes RAG (Retrieval-Augmented Generation) no cambia el modelo matemático, pero sí convierte al conjunto en un sistema sujeto a supervisión estricta.

La "Capa de Orquestación" como nuevo campo de batalla legal

Lo que resulta verdaderamente llamativo es la propuesta de desplazar el foco de supervisión hacia la capa de orquestación. En un ecosistema donde múltiples agentes colaboran entre sí —uno para buscar datos, otro para analizar y un tercero para ejecutar el pago—, los riesgos de desalineación se multiplican.

Aquí es donde se abre la complejidad: ¿cómo se documenta la trazabilidad cuando un agente "decide" por sí solo cambiar una estrategia de compra basándose en la salida de otro agente? Los autores sugieren protocolos de supervisión obligatorios que definan intervalos de revisión mínimos y una documentación estructurada de los resultados de dicha vigilancia, especialmente en casos de alta autonomía.

El sistema de "semáforos" para la contratación autónoma

¿Puede un agente de IA obligar legalmente a una empresa en un contrato de suministro? En el ámbito del derecho de contratos de la UE, la autonomía de los agentes plantea el dilema de los actos ultra vires (fuera de competencia). Para resolverlo, el informe introduce una propuesta pragmática: un sistema de autorización por niveles o "semáforo" basado en el riesgo operativo.

• Verde: Tareas de bajo riesgo autorizadas de forma permanente.
• Ámbar: Acciones que requieren una pausa estratégica para validación humana.
• Rojo: Actos legales no delegables que el sistema tiene prohibido ejecutar por sí solo.

Esta estructura busca proteger al representado frente a errores del agente sin anular la eficiencia de la automatización. Sin embargo, la gran pregunta que queda en el aire, y que el documento analiza en profundidad, es qué sucede cuando el error no es del usuario, sino una "alucinación" del modelo que el sistema de control no pudo detectar.

Lo que el lector encontrará en el documento original: El informe técnico completo desglosa la reclasificación de proveedores bajo el Artículo 25 de la AI Act y analiza por qué el marco NLF (New Legislative Framework) podría ser insuficiente para la IA agéntica ante la falta de una "intención humana" clara en cada transacción.

Lo que viene en el documento

Si decides profundizar en la lectura del informe original, encontrarás:

• La justificación técnica de por qué la arquitectura de agentes rompe los esquemas tradicionales de "control de usuario".
• Un desglose de casos de uso específicos, desde el reclutamiento autónomo hasta la gestión de infraestructuras energéticas, clasificados por niveles de riesgo.
• La propuesta de una "lista estatutaria" de actos jurídicos que jamás deberían ser delegados en una IA.
• Análisis de la economía de inferencia: cómo el uso de modelos pequeños (SLMs) puede reducir riesgos y costes en sistemas multi-agente.

Conclusiones clave

• Los agentes de IA deben ser regulados como sistemas, no como modelos, debido a su capacidad de ejecución autónoma.
• La autonomía marca la frontera: mientras que un flujo de trabajo espera una orden, un agente actúa por iniciativa propia bajo un objetivo general.
• Es urgente implementar un protocolo de supervisión obligatorio que sustituya al human-in-the-loop por mecanismos de auditoría de orquestación.
• En derecho de contratos, se propone la creación de un listado de actos no delegables para proteger la seguridad jurídica de las empresas.
• La responsabilidad en la cadena de valor debe ser clara: quien modifica un sistema para un fin de alto riesgo asume la posición de proveedor ante la ley.

---