IA y justicia: cuando la precisión exige opacidad

La pregunta que más incomoda al derecho procesal contemporáneo no es si la inteligencia artificial debe tener un lugar en la justicia, sino cuánta opacidad estamos dispuestos a tolerar para que ese lugar sea útil. Renzo Cavani, en un artículo recién publicado en la Revista Ítalo-Española de Derecho Procesal, aborda esta tensión con una claridad inhabitual en la literatura sobre IA y derecho: la eficiencia y la explicabilidad no son simplemente valores en tensión, son objetivos estructuralmente incompatibles cuando se persiguen al máximo. Y la única salida razonable no está en encontrar un punto de equilibrio abstracto, sino en hacer depender la exigencia de explicabilidad de la función concreta del sistema.

El artículo —disponible en acceso abierto bajo licencia Creative Commons y accesible aquí en su versión íntegra— es un producto directo de su tesis doctoral sobre precedente e inteligencia artificial, defendida en la Universitat de Girona con la calificación de excellent cum laude. Lo que Cavani ofrece en estas páginas no es un recorrido panorámico por la ética de la IA: es una tesis con filo argumental propio, y merece ser leída como tal.

El nudo técnico: por qué la precisión destruye la comprensión

Antes de entrar en el debate normativo, Cavani ancla su análisis en una realidad técnica que suele eludirse en los discursos jurídicos sobre IA. Los sistemas de machine learning de mayor rendimiento predictivo —aquellos basados en redes neuronales profundas, aprendizaje no supervisado y grandes volúmenes de datos— funcionan mediante cálculos matemáticos de una complejidad que no admite traducción comprensible al razonamiento humano. El resultado no es simplemente que el sistema sea difícil de entender: es que ni siquiera el diseñador puede reconstruir el camino que llevó a una predicción concreta. Esto es lo que la literatura técnica denomina black box system, y no es un defecto de diseño corregible: es la consecuencia estructural de la arquitectura que permite la alta precisión.

Frente a esto, existen sistemas alternativos —árboles de decisión, sistemas basados en reglas— que sí ofrecen una secuencia lógica de premisas y conclusiones. Son comprensibles. Pero también son menos precisos. El diseñador que quiere maximizar la exactitud predictiva tiene que renunciar a la comprensibilidad. El que quiere preservar la comprensibilidad tiene que asumir un coste en exactitud. No hay solución técnica que elimine este trade-off: solo hay elecciones con consecuencias distintas.

Aquí es donde el análisis de Cavani gana densidad. El concepto de eficiencia que maneja no es el de la eficiencia como valor intrínseco —no hay ninguna tesis sobre la bondad del rendimiento en sí mismo— sino la eficiencia en sentido instrumental: la alineación entre los medios utilizados y los fines perseguidos. Un sistema más preciso genera mejores predicciones, ahorra tiempo y recursos, reduce errores en la clasificación de casos, o proporciona información de mayor calidad para que el juez tome decisiones mejor fundamentadas. En la medida en que esos fines sean valiosos para la comunidad, la eficiencia que los sirve también lo es. Pero —y esto es central— esa valoración necesita un sustrato normativo que la eficiencia por sí sola no puede proveer.

La explicabilidad como valor-fin, no como instrumento

La segunda tesis del artículo, igualmente decisiva, afecta a la naturaleza conceptual de la explicabilidad. Cavani la sitúa como un end-value, esto es, un valor final en sí mismo, y la distingue de otros conceptos que tienden a usarse como sinónimos —transparencia, trazabilidad, inteligibilidad, rendición de cuentas— que él ubica como valores instrumentales: medios que contribuyen a alcanzar la explicabilidad, pero que no se identifican con ella.

La distinción no es ornamental. La transparencia, por ejemplo, se entiende en el artículo como la accesibilidad de información sobre los componentes y la arquitectura del sistema. Es una condición de posibilidad para otros valores —la seguridad, el consentimiento informado, la rendición de cuentas—, pero no es en sí misma el horizonte que debe perseguirse. Y aquí hay una observación particularmente incisiva: la transparencia total puede ser contraproducente. Un exceso de información técnica puede producir una opacidad de segundo orden —el usuario, desbordado de datos que no puede procesar, termina entendiendo menos que antes— y puede facilitar además que el sistema sea manipulado por actores que conocen sus reglas internas.

La explicabilidad, en cambio, apunta a algo diferente y más exigente: la posibilidad de que el afectado por una decisión basada en IA pueda comprenderla en un grado suficiente para cuestionarla. No requiere que el usuario entienda el algoritmo: requiere que pueda entender por qué el sistema llegó a ese resultado y, sobre esa base, ejercer un control efectivo sobre la decisión. Esta dimensión es la que Cavani llama controllability, y ocupa un lugar específico en su arquitectura conceptual. La controlabilidad no se agota en la auditoría periódica del sistema por parte de los programadores: requiere que las partes afectadas por la resolución judicial tengan acceso, a través de los mecanismos de impugnación, a los razonamientos que el sistema ofreció como premisa de esa resolución.

Luciano Floridi, uno de los referentes teóricos del artículo, añade a los principios clásicos de la ética de la IA —beneficencia, no maleficencia, autonomía y justicia— este quinto principio de explicabilidad, entendido como la incorporación del sentido epistemológico de la inteligibilidad (¿cómo funciona?) y el sentido ético de la responsabilidad (¿quién responde de cómo funciona?). Cavani asume esa construcción pero la afina cuando la proyecta sobre el espacio judicial, donde las exigencias normativas de motivación de las decisiones dan a la explicabilidad una densidad constitucional que en otros contextos no tiene.

El campo de la IA explicable: un problema humano, no un problema técnico

La proliferación de sistemas de IA en el ámbito judicial ha generado un campo de investigación específico —la Explainable AI o XAI— cuyo objetivo es hacer que los modelos opacos sean más interpretables para sus usuarios. Cavani dedica un espacio relevante a precisar qué hace y qué no hace este campo, porque hay una confusión habitual que conviene despejar.

XAI no aspira a que el sistema se explique a sí mismo. El sistema no tiene ninguna capacidad de justificación genuina: produce outputs, no argumentos. Lo que XAI persigue es que los desarrolladores humanos sean capaces de ofrecer a otros humanos —los usuarios del sistema, los afectados por sus resultados— una explicación comprensible de lo que el sistema hace y por qué. Esta es una tarea humana que requiere sistemas suficientemente transparentes como para que esa explicación sea posible, pero no exige que el sistema mismo sea comprensible en toda su complejidad interna.

Lo que el artículo deriva de esta aclaración es importante: la demanda de explicabilidad no puede dirigirse al algoritmo, sino a quienes lo diseñan, despliegan y supervisan. Ellos son los responsables de ofrecer razones comprensibles. Y en el contexto judicial, esa responsabilidad se proyecta hacia los jueces que usan el sistema, hacia las partes del proceso, y hacia el público en general que tiene interés en conocer cómo se adoptan decisiones que afectan a la comunidad.

Conviene señalar, además, que la explicabilidad tiene dos dimensiones que no siempre coinciden. Una cosa es la explicabilidad del funcionamiento del sistema —cómo ha sido entrenado, con qué datos, qué técnicas, qué pesos—, y otra es la explicabilidad del output en cada caso concreto —por qué el sistema llegó a este resultado para este caso específico—. La primera puede ser razonablemente exigible como política pública sobre el sistema; la segunda es necesaria cada vez que el output incide en una decisión que debe motivarse.

El criterio resolutivo: la función del sistema como metro de la explicabilidad

La contribución más original del artículo es la propuesta de criterio para resolver la tensión entre eficiencia y explicabilidad. Cavani rechaza que baste con constatar que el sistema opera en la esfera pública —lo que Santosuosso y Sartor habían propuesto como criterio relevante— porque eso no dice nada sobre cuánta explicabilidad exige ese sistema ni cuánta opacidad puede tolerarse en su nombre.

La pregunta correcta, sostiene Cavani, no es ¿es pública la función del sistema?, sino ¿en qué medida interfiere el sistema en la decisión judicial que debe motivarse? A mayor interferencia directa en la decisión, mayor es la exigencia de explicabilidad. A menor interferencia, mayor es el margen para priorizar la eficiencia y aceptar una opacidad funcionalmente justificada.

Este criterio genera una tipología implícita de sistemas que el artículo desarrolla con ejemplos concretos. En un extremo se encuentran los sistemas de gestión burocrática del poder judicial: herramientas que organizan expedientes, distribuyen cargas de trabajo, transcriben vistas, clasifican asuntos según criterios de eficiencia. Estos sistemas no condicionan el contenido de ninguna resolución. La decisión que justifica la actuación judicial sigue siendo íntegramente humana. Para ellos, la exigencia de explicabilidad puede ser baja: importa que funcionen, no que se entiendan en detalle, y la opacidad que permite su mayor eficiencia no tiene un coste normativo significativo. No en vano, el propio Reglamento europeo de Inteligencia Artificial excluye explícitamente de la categoría de alto riesgo los sistemas destinados a actividades administrativas puramente auxiliares que no afecten a la administración de justicia en casos individuales —anonimización de resoluciones, comunicaciones internas, tareas administrativas—.

En el extremo opuesto se encuentran los sistemas que ofrecen al juez razones para decidir: asistentes jurídicos que, trabajando sobre bases de datos de precedentes, proponen al juez cuál es la decisión más coherente con la jurisprudencia anterior en función de los factores del caso presente. Estos sistemas no deciden: el juez conserva la autoridad de la resolución. Pero interfieren directamente en la construcción del razonamiento que la sustenta. Si el juez incorpora como premisa de su decisión el resultado del sistema, ese resultado debe poder cuestionarse. Y para que pueda cuestionarse, la explicabilidad exigida es alta: hay que saber cómo fue entrenado el sistema, con qué datos, qué factores representa, qué técnica computacional utiliza, qué tipo de output genera, y —lo que es más difícil— cómo el output concreto en el caso concreto puede articularse con el razonamiento motivado que la resolución judicial exige.

Entre estos dos extremos existe un espectro amplio en el que Cavani ubica distintos tipos de sistemas —los que resumen vistas, los que proponen medidas en función de evaluaciones de riesgo, los que asisten en la redacción de resoluciones— y en el que el criterio de la interferencia permite decidir, caso a caso, cuánta explicabilidad es normativamente necesaria y cuánta eficiencia puede preservarse sin traicionar las exigencias del Estado de Derecho.

El problema del asistente jurídico basado en precedentes

Cavani dedica una sección específica al tipo de sistema que más directamente conecta con su investigación doctoral: los sistemas de razonamiento basado en precedentes, que ofrecen al juez razones para decidir casos nuevos a partir del análisis de factores presentes en casos anteriores. Este campo tiene una historia propia —los primeros modelos de este tipo se desarrollaron a finales de los años ochenta del siglo pasado—, y en los últimos años ha recibido un impulso notable gracias a la capacidad de los grandes modelos de lenguaje para generar argumentos jurídicos estructurados.

Para este tipo de sistema, la explicabilidad suficiente requiere, en la propuesta de Cavani, algo más que una descripción general de su arquitectura. Exige saber cómo fueron entrenados los algoritmos; bajo qué criterios se construyó el dataset; qué casos lo componen; qué factores fueron diseñados para representar los casos; qué técnicas computacionales se utilizaron; y qué tipo de enunciados el sistema es capaz de producir como output. Pero también exige que sea transparente qué tipo de input introduce el juez, cómo puede controlar las operaciones de razonamiento que el sistema ejecuta, y —sobre todo— cómo incorpora sus razones a la motivación de la decisión.

Esta última dimensión es, en opinión de Cavani, irreducible: no basta con que las razones del sistema estén disponibles en algún lugar accesible. Tienen que estar contenidas en los propios enunciados del sistema, ser incorporadas o rechazadas explícitamente como premisas de la decisión judicial, y ser cognoscibles para las partes que sufrirán las consecuencias de esa decisión. La transparencia del output no es un añadido: es la condición de posibilidad del control jurídico sobre la decisión que ese output contribuye a construir.

Y aquí aparece una tensión adicional que el artículo no elude: los sistemas más sofisticados —aquellos cuya capacidad de razonamiento jurídico es más refinada— son también los más opacos. No es una paradoja accidental: es la misma dinámica que se identificó al principio. Un sistema capaz de generar argumentos jurídicos de alta calidad basados en redes neuronales de gran escala será, probablemente, un sistema cuyo razonamiento interno no puede reconstruirse. Exigir explicabilidad completa de ese sistema es, en la práctica, exigir que se use un sistema menos capaz. Cavani no esquiva esta consecuencia: asume que en este nivel de interferencia la exigencia de explicabilidad es tan alta que los sistemas fundamentalmente opacos deben, simplemente, excluirse.

Alineación con el Reglamento europeo de IA

La propuesta de Cavani no es únicamente una construcción teórica: tiene anclaje normativo en el Reglamento europeo de Inteligencia Artificial (RIA), cuya entrada en vigor plena está transformando el marco regulatorio de la IA en todos los sectores, incluido el judicial.

El RIA clasifica con carácter general los sistemas de IA destinados a asistir a las autoridades judiciales en la interpretación de hechos y derecho como sistemas de alto riesgo (Anexo III, punto 8). Esta clasificación implica un conjunto de exigencias de transparencia, documentación, supervisión humana y rendición de cuentas que son coherentes con la alta interferencia que esos sistemas pueden tener en la decisión judicial. Sin embargo, el artículo 6(3) del RIA introduce una excepción relevante: los sistemas que no influyen sustancialmente en el resultado de la toma de decisiones —aquellos que realizan tareas procedimentales o preparatorias de escasa repercusión— pueden quedar fuera de la categoría de alto riesgo, lo que reduce correlativamente las exigencias de explicabilidad aplicables.

Cavani subraya que este esquema normativo es estructuralmente coherente con el criterio de la función del sistema: el regulador europeo ha optado por calibrar las exigencias de transparencia y supervisión humana en función del grado de interferencia del sistema en la decisión sustantiva. Lo que el artículo aporta es la fundamentación teórica de esa elección regulatoria —que en el RIA se expresa como opción de política legislativa— y su extensión a una tipología más precisa de sistemas judiciales.

Lo que el análisis deja abierto

Hay aspectos que el propio Cavani reconoce como pendientes de desarrollo. El grado exacto de explicabilidad exigible para cada categoría de sistema —qué información es suficiente, en qué formato, dirigida a qué audiencia— es una cuestión que el criterio de la función puede encuadrar pero no resolver en detalle. La relación entre los protocolos de uso de los sistemas por parte de los jueces y los derechos procesales de las partes requiere un desarrollo regulatorio específico que el artículo anuncia pero no acomete. Y la conexión entre el deber de motivación de las resoluciones judiciales —con su anclaje constitucional en el derecho a la tutela judicial efectiva— y los distintos tipos de output que los sistemas de IA pueden generar es un campo que, según el propio autor, merece un trabajo separado.

Lo que el artículo sí cierra, con solidez argumentativa, es la inviabilidad de las dos posiciones extremas: ni la exigencia de opacidad cero para cualquier sistema que opere en el ámbito judicial, ni la aceptación de la eficiencia como criterio suficiente al margen de la función del sistema. Ambas son posiciones que simplifican en exceso una realidad técnica y normativa que exige más matiz.

Conclusiones

La tesis de Cavani puede resumirse, sin traicionarla, en cinco proposiciones:

• La eficiencia y la explicabilidad son estructuralmente incompatibles cuando se persiguen al máximo: maximizar una implica sacrificar la otra.
• La explicabilidad es un valor-fin de la ética de la IA judicial; la transparencia, la trazabilidad y la inteligibilidad son valores instrumentales que contribuyen a ella pero no se identifican con ella.
• El criterio para calibrar cuánta explicabilidad es exigible en cada sistema no es si opera en la esfera pública, sino cuánto interfiere en la decisión judicial que debe motivarse.
• A menor interferencia, mayor margen para priorizar la eficiencia. A mayor interferencia directa en la decisión, la exigencia de explicabilidad es tan alta que los sistemas fundamentalmente opacos quedan excluidos.
• Este enfoque es coherente con el esquema de riesgos del Reglamento europeo de Inteligencia Artificial, y le ofrece una fundamentación teórica que el propio texto normativo no desarrolla.

El artículo de Cavani es uno de esos trabajos que no se conforman con mapear el problema: proponen una solución y la defienden. En un campo donde abundan las llamadas a la prudencia y los catálogos de principios, eso es ya un mérito singular.

---

El artículo completo —"AI in Justice: Balancing Efficiency and Explicability"— puede consultarse y descargarse libremente en la Revista Ítalo-Española de Derecho Procesal, publicado bajo licencia Creative Commons Attribution 4.0.