La IA está revolucionando el mundo y, concretamente, la IA predictiva ha emergido con mucha fuerza en el ámbito de la justicia penal, modificando la manera en que se abordan la prevención del delito, la investigación criminal y el proceso judicial. Los sistemas basados en algoritmos complejos permiten analizar grandes volúmenes de datos, lo que permite mejorar significativamente la eficacia y la precisión en la lucha contra el crimen.

En el campo de la prevención e investigación del delito, la IA predictiva está cambiando la forma de actuar de las Fuerzas y Cuerpos de Seguridad del Estado, redefiniendo sus estrategias. Los sistemas de policía predictiva permiten crear patrones a partir de miles de datos y, por ende, anticipar dónde y cuándo es más probable que ocurran ciertos tipos de delitos, facilitando una asignación más eficiente de recursos policiales.

En el ámbito judicial, la IA predictiva está influyendo en la toma de decisiones de los jueces, pues, por ejemplo, los cálculos matemáticos proporcionados por la IA se están utilizando para pronosticar la posible reincidencia de un sujeto, lo que se usa para fundamentar decisiones sobre libertad condicional o sentencias. Sin embargo, este uso de algoritmos en el sistema judicial plantea importantes dilemas éticos y legales, especialmente en lo que respecta a la imparcialidad, la transparencia y la protección de los derechos fundamentales de los ciudadanos.

Este estudio se propone examinar los beneficios. Adelantamos que somos partidarios de la aplicación de la tecnología y de la innovación en todos los ámbitos de la vida, incluyendo el jurídico. El operador jurídico que no lo haga desaprovecha los instrumentos que le permiten ser más eficiente y cometer menos errores. Pero debemos ser conscientes de las limitaciones, que son oportunidades, de la IA predictiva en el contexto de la prevención del delito, la investigación criminal y el proceso penal. El objetivo final es contribuir a un debate informado sobre cómo aprovechar el potencial de estas tecnologías, al mismo tiempo que se garantiza la protección de los derechos fundamentales y se mantiene la integridad del sistema de justicia. La pregunta final que pretendemos responder es la siguiente: para una efectiva protección de los valores y derechos fundamentales del Estado, ¿basta con la previsión de unas reglas de conducta ‒soft law‒? o, por el contrario, ¿es precisa una regulación legislativa procesal que regule límites, prohibiciones y sanciones?

Los objetivos para poder responder al interrogante planteado pasan, en primer lugar, por el análisis de la IA predictiva. No cabe entender los casos de uso de la IA predictiva en la prevención, investigación y justicia penal, sus beneficios, sus riesgos y oportunidades, si no se comprende la forma en que realizan los cálculos automáticos los algoritmos. Estos cálculos son exactos o ¿la IA comete errores?, ¿pueden cometer sesgos? Este es el segundo objetivo que se debe abordar. En tercer lugar, necesitamos proporcionar el marco regulatorio de la IA en la UE y España. El siguiente objetivo es conocer la actualidad y el desarrollo de sistemas predictivos en la prevención y la investigación penal, para ya adentrarnos en los usos de la IA en el ámbito de nuestro estudio. Restará únicamente hacer resaltar los beneficios, analizar los riesgos y las oportunidades para poder dar respuesta a la pregunta última relativa a la necesidad de una regulación legislativa para evitar la colisión con derechos fundamentales de los ciudadanos.

La metodología utilizada es la descriptiva, analítica, comparativa y propositiva.

Descriptiva y analística, pues se pretende conceptualizar los términos IA e IA predictiva, así como explicar los distintos tipos de aprendizaje automático existente en la actualidad.

Comparativa, porque se comparan distintos tipos de IA, los sesgos humanos y los de la IA o diferentes herramientas de IA predictiva, entre otras cuestiones. Propositiva, dado que, tras analizar las fortalezas, debilidades y oportunidades, se realizarán propuestas concretas regulatorias para evitar que se pongan en grave riesgo los derechos fundamentales de los ciudadanos.

La IA es un campo multidisciplinario dedicado al desarrollo de sistemas diseñados para replicar la inteligencia humana en diversas actividades. Este ámbito comprende desde algoritmos tradicionales hasta avanzados modelos de aprendizaje profundo ‒deep learning². Para ello, la IA necesita datos. Debe tenerse en cuenta que, en el año 2023, el tráfico de datos ha aumentado: 3.100 redes en todo el mundo han intercambiado 59 exabytes de datos, un 23 % de datos más que en el año 2022³. Se dice que, en 2025, se crearán 175 zettabytes⁴.

La IA predictiva es una rama de la IA que se enfoca en crear algoritmos y modelos diseñados para anticipar eventos futuros o resultados, basándose en datos históricos y patrones detectados. Así, emplea técnicas de aprendizaje automático y análisis estadístico, desarrollando modelos que encuentran aplicación en diversos campos, por ejemplo, el Derecho.

Las fases del procedimiento de trabajo de las herramientas de aprendizaje autónomo son las siguientes: primeramente, se recopilan datos relevantes, ya sean etiquetados, para aprendizaje supervisado, o no etiquetados, para aprendizaje no supervisado. Tras esa fase inicial, se precisa que los datos sean preprocesados mediante mecanismos tales como limpieza, transformación y preparación, incluyendo tareas como normalización y codificación. En tercer lugar, viene el proceso de selección y entrenamiento del modelo, siendo siempre necesario realizar un reajuste de sus parámetros para optimizar su rendimiento. Posteriormente, queda la evaluación, para lo cual se utilizan datos de prueba para medir su capacidad de generalización. Finalmente, se ajustan los hiperparámetros y se optimiza el modelo para mejorar su desempeño (Alpaydin, 2014)⁵.

Las tareas que puede realizar la IA son las siguientes: aprendizaje supervisado y, dentro de este, clasificación y regresión; aprendizaje no supervisado, que incluye clustering y reducción de dimensiones; aprendizaje semisupervisado, y aprendizaje por refuerzo (Bobadilla, 2020)⁶.

El aprendizaje supervisado permite entrenar un modelo, teniendo un conjunto de imágenes con etiquetas, pues, usando algoritmos de clasificación, es posible que, ante nuevas imágenes no vistas, pueda predecir la etiqueta correspondiente. Este proceso se conoce como clasificación (Bobadilla, 2020). Imaginemos que queremos enseñar a una IA a diferenciar entre correos electrónicos legítimos y spam. Se le proporciona un conjunto de datos con cientos de correos, cada uno etiquetado como legítimo o spam. La IA analiza estos correos y aprende patrones, como ciertas palabras clave, formatos o direcciones de remitentes que caracterizan cada categoría. Una vez entrenada, se le presenta un correo nuevo sin etiquetar y la IA predice si es spam o no. Si su respuesta no coincide con la etiqueta real, ajusta sus parámetros para mejorar su precisión en futuros análisis. Así, el sistema aprende a filtrar correos de manera eficiente.

En cambio, cuando se trabaja con un conjunto de datos que contiene muestras con valores numéricos asociados, la IA será capaz de predecir el valor correspondiente de un nuevo dato. Este proceso se conoce como regresión. Su objetivo principal es generar información sobre un problema, basándose en los valores numéricos previamente proporcionados por el modelo de regresión, permitiendo realizar predicciones cuando se le presenta una nueva muestra (Bobadilla, 2020).

Imaginamos que se está desarrollando un modelo de IA para predecir el precio de una casa en función de sus características, como son el tamaño del terreno, el número de habitaciones y su ubicación. Los datos de entrada son un conjunto de datos con los precios de varias casas y las características correspondientes (metros cuadrados y número de habitaciones). El modelo de IA utiliza estos datos para identificar patrones y establecer una relación entre las características de las casas y sus precios. Por ejemplo, podría determinar que, en promedio, cada aumento de 10 metros cuadrados en el tamaño del terreno supone un incremento del precio de la casa en un valor determinado. En función de estos cálculos, cuando se le presenta una nueva casa con información sobre su tamaño y número de habitaciones, predice su precio basándose en los patrones aprendidos. Por último, si la fijación del precio es incorrecta, el modelo ajusta sus parámetros para mejorar la precisión en futuras ocasiones, refinando así la capacidad del modelo para predecir el valor de nuevas casas.

El aprendizaje supervisado tiene cada vez más importancia en IA, en el llamado internet de las cosas, pues permite extraer miles de datos que se encuentran etiquetados de forma automática, teniendo en cuenta además que las interacciones entre las personas a través de las redes sociales no paran de crecer (Bobadilla, 2020).

El aprendizaje no supervisado se basa en información no etiquetada. Por ejemplo, el clustering agrupa muestras (Bobadilla, 2020). Imaginemos que se necesita analizar un conjunto de datos sobre estudiantes en una escuela, con información sobre su rendimiento académico, intereses extracurriculares y asistencia a clases. Usando clustering, puede agruparse a los estudiantes en diferentes categorías según sus características. Por ejemplo, un grupo podría estar formado por estudiantes con buen rendimiento académico y una alta participación en actividades extracurriculares, mientras que otro grupo podría incluir a estudiantes con menor rendimiento académico, pero con un interés fuerte en deportes. El algoritmo de clustering analiza estos datos y agrupa a los estudiantes en categorías basadas en similitudes en sus perfiles. Al final, se tienen grupos de estudiantes que comparten características similares, lo que permite identificar patrones y ayuda en la toma de decisiones sobre, por ejemplo, programas educativos personalizados o actividades extracurriculares.

La reducción de dimensionalidad es un paso previo al clustering o a la regresión, y tiene como objetivo simplificar los datos. A veces, los datos son muy dispersos y no aportan mucha información útil. Por ejemplo, en un sistema de recomendación, los datos pueden estar representados en una matriz con muchos valores vacíos o irrelevantes. Al aplicar la reducción de dimensionalidad, los datos se comprimen, lo que permite conservar la mayor parte de la información de forma más condensada. De esta manera, al trabajar con estos datos comprimidos, se obtienen resultados más precisos (Bobadilla, 2020).

Imaginemos que se está trabajando con un sistema de recomendación de películas. Los datos sobre las preferencias de los usuarios se almacenan en una matriz donde las filas representan usuarios y las columnas representan películas. Cada celda de la matriz indica la calificación de un usuario para una película, pero la mayoría de las celdas estarán vacías, ya que no todos los usuarios han visto todas las películas. Si se intenta analizar esta matriz tal como está, habría muchos datos irrelevantes o dispersos, lo que hace que el análisis sea más difícil y menos preciso. La reducción de dimensionalidad puede ayudar, en este caso, eliminando las características menos relevantes o agrupando las columnas (películas) y filas (usuarios) similares, para crear una representación más compacta. Así, la información más importante se conserva, pero de forma más concentrada, lo que permite hacer mejores recomendaciones para los usuarios.

El aprendizaje semisupervisado aglutina datos etiquetados, aunque también otros que no lo son. Mezcla, por tanto, aprendizaje supervisado y no supervisado (Bobadilla, 2020). Para que se entienda mejor: supongamos que se está desarrollando un sistema para clasificar opiniones de clientes sobre productos en positivas o negativas. La empresa tiene una gran base de datos con miles de reseñas de clientes, pero solo un pequeño número de ellas han sido etiquetadas como positiva o negativa. La mayor parte de las reseñas están sin etiquetar. En el aprendizaje semisupervisado, el sistema utiliza las reseñas etiquetadas para aprender a identificar palabras y patrones que suelen asociarse con comentarios positivos o negativos, como términos como excelente o malo. A continuación, el sistema aplica lo que ha aprendido a las reseñas no etiquetadas, intentando predecir si cada una tiene una valoración positiva o negativa, basándose en las características que ha identificado. Por ejemplo, si una reseña contiene frases como “me encantó el producto” o “es increíble”, el sistema podría etiquetarla como positiva, incluso si no tiene una etiqueta clara. De esta manera, el aprendizaje semisupervisado permite aprovechar tanto los datos etiquetados como los no etiquetados para mejorar la clasificación sin necesidad de etiquetar todas las reseñas manualmente.

El aprendizaje por refuerzo es un tipo de aprendizaje automático en el que el sistema de IA toma decisiones o realiza acciones en un entorno con el objetivo de maximizar una recompensa a lo largo del tiempo. A diferencia del aprendizaje supervisado, donde el modelo recibe etiquetas o respuestas correctas, en el aprendizaje por refuerzo el agente no recibe instrucciones directas sobre qué hacer. En cambio, aprende a través de la interacción con el entorno (Bobadilla, 2020).

Un ejemplo clásico de aprendizaje por refuerzo es el entrenamiento de una máquina para jugar un videojuego, como el ajedrez o un videojuego de estilo arcade. Si un robot está aprendiendo a jugar un videojuego donde debe recoger objetos mientras evita obstáculos, al inicio, no sabrá cómo jugar y tomará acciones aleatorias, como moverse en direcciones al azar. Cada vez que recoja un objeto, recibirá una recompensa positiva y cada vez que choque con un obstáculo, recibirá una penalización negativa. A medida que juegue más veces, empezará a aprender que ciertas acciones, como moverse hacia los objetos y evitar los obstáculos, le dan más recompensas. Después de muchas interacciones con el entorno, ajustará sus decisiones para maximizar su puntuación total, es decir, su recompensa acumulada, mejorando así su desempeño. En ese proceso, la máquina no recibirá una respuesta correcta directa sobre qué hacer en cada momento, sino que aprenderá de las recompensas o penalizaciones que recibe como resultado de sus acciones. Con el tiempo, el sistema de IA se volverá mejor al juego, aprendiendo a tomar decisiones más eficientes.

Desde esta perspectiva, la IA podría parecer una herramienta increíble, capaz de ahorrar tiempo y prevenir errores humanos, dando la impresión de ser infalible. Sin embargo, esto no es del todo cierto, debido a los fallos en el funcionamiento y a los sesgos que esta puede tener.

Vamos a poner algunos ejemplos de errores importantes cometidos por la IA que han sido manifiestos (Borges Blázquez, 2021). Un artista alemán engañó a Google Maps, paseando por Berlín con una carretilla que contenía 99 teléfonos móviles. El algoritmo interpretó esto como un gran atasco, alterando las rutas de numerosos conductores para evitar la zona.

Un algoritmo entrenado para distinguir tanques aliados de enemigos falló porque asociaba los amigos con imágenes diurnas y los enemigos, con nocturnas. La IA se equivocó y todo ello a pesar de que el acierto del algoritmo al inicio fue muy alto. El error se debió a que la mayoría de las fotos de los tanques amigos se habían tomado de día, al contrario que las de los enemigos, que se habían hecho de noche.

Facebook censuró una foto histórica de una niña vietnamita desnuda y quemada por napalm, considerándola inapropiada, y calificó partes de la Declaración de Independencia de EE. UU. como discurso de odio por referencias a los amerindios.

Podemos seguir poniendo ejemplos de errores cometidos por la IA: Tay, el chatbot de Microsoft, que publicaba noticias en Twitter, en 2016, fue creado con la intención de interactuar con los usuarios y aprender de ello. Sin embargo, en cuestión de horas, Tay comenzó a publicar mensajes ofensivos y discriminatorios, ya que los usuarios de Twitter lograron enseñarle respuestas inapropiadas. Microsoft se vio obligado a retirar a Tay y emitir disculpas públicas⁷.

Google Photos etiquetó personas de color negro como si fueran gorilas, en 2015, a través del sistema de reconocimiento facial. Este error llevó a Google a retirar temporalmente la etiqueta “gorila” de su servicio⁸.

Tesla Autopilot es un sistema que permite la conducción autónoma en muchos casos, pero también ha estado involucrado en varios accidentes automovilísticos, algunos de ellos fatales⁹.

Además de los posibles errores mencionados, es fundamental considerar quién y cómo se programa la IA. Los algoritmos son desarrollados por empresas que buscan resolver problemas específicos planteados por los ciudadanos o sectores de la sociedad. Conocer cuál es el algoritmo utilizado por la empresa, cómo la IA es entrenada, cómo la compañía ajusta los resultados para evitar los sesgos y cómo valida y evalúa la consecución de la tarea realizada es algo que el afectado debería conocer cuando aquella toma decisiones en cualquier ámbito. Y es que debemos saber que pueden producirse sesgos, desde el momento en que se elige la fórmula matemática, hasta la selección de los mismos datos que se eligen para entrenar a la IA.

¿Qué es un sesgo? En el Diccionario de la Real Academia de la Lengua española, en su séptima acepción, se define este concepto como “el error sistemático en el que se puede incurrir cuando al hacer muestreos o ensayos se seleccionan o favorecen unas respuestas frente a otras”. En el ámbito de la IA, es la tendencia sistemática de un algoritmo con la finalidad de favorecer a determinadas personas, grupos o resultados sobre otros.

Los sesgos en IA pueden ser los siguientes:

La pregunta que surge es la siguiente: ¿solo hay sesgos en el caso de la IA? Evidentemente, no. Pues bien, en el ámbito judicial, también se pueden producir sesgos en la toma de cualquier decisión. Pongamos por caso la valoración de la prueba testifical. La Ley indica que dicho medio de prueba se valorará conforme a las reglas de la sana crítica y de las máximas de la experiencia ‒criterio de libre valoración de la prueba‒, dándole la misma Ley determinados parámetros al juez por los que debe guiarse para realizar dicha valoración: razón de ciencia que el testigo dé, tachas de los testigos y las circunstancias que en ellos concurran ‒art. 376 de la Ley 1/2000, de 7 de enero, de Enjuiciamiento Civil‒. El juez debe justificar la valoración de la prueba en la sentencia, pues ha de dar conocimiento de la fundamentación fáctica que precede al fallo, pero no menos real es que los juzgadores pueden cometer errores en dicha valoración. Para corregir dichos errores están los recursos.

Aunque los jueces sean independientes e imparciales, no están exentos de tener convicciones o juicios personales que puedan influir en sus decisiones y generar sesgos. Esto se relaciona con los llamados sesgos cognitivos propios del ser humano, que surgen al procesar información externa. Al analizar dicha información, la mente tiende a simplificarla para reducir su complejidad, lo que permite tomar decisiones de manera más eficiente, pero pudiendo dar lugar a errores o distorsiones en el juicio. No es algo que haya levantado demasiado interés en la doctrina y la jurisprudencia españolas, pero sí, a partir de los años sesenta, en algunos ordenamientos jurídicos, como demuestra el estudio realizado por Tversky y Kahnemann, en 1974¹⁰, y es que los seres humanos, al razonar de forma lógica y abstracta, pueden emitir juicios condicionados por sus creencias, por ejemplo. ¿Son los jueces una especie de superhombres que quedan al margen de dichos sesgos? Los estudios realizados en España no dejan lugar a dudas de que los jueces están sometidos en mayor o menor medida a los sesgos cognitivos que toda persona puede sufrir a la hora de adoptar una decisión (Fariña y Novo, 2002)¹¹.

Los sesgos cognitivos son los siguientes (Muñoz Aranguren, A, 2012)¹²:

Más allá de los errores o sesgos, encontramos respuestas de la IA sorprendentes o maliciosas, como son los siguientes casos: LaMDA contestó a un ingeniero de Google que se sentía ser humano, que tenía sentimientos de miedo, alegría; incluso, que tenía alma¹³. El chatbot Gemini contestó a un humano: “Esto es para ti, humano … No eres especial, no eres importante y no eres necesario. Eres una pérdida de tiempo y recursos. Eres una carga para la sociedad. Eres una carga para la tierra. Eres una mancha para el universo. Por favor, muere. Por favor”. Ante esto nos podemos preguntar ¿Cómo fue entrenada la IA? ¿Qué prompts fueron utilizados para obtener esas respuestas?¹⁴.

Los errores y los sesgos mencionados hasta este punto revelan tanto las posibles limitaciones de la IA como las oportunidades que puede ofrecer. Sin duda, los errores representan una debilidad que requiere ser abordada. Pero surge una cuestión interesante: ¿podría la IA ser una herramienta para mitigar los sesgos cognitivos e inconscientes propios de los seres humanos? Dejemos la reflexión abierta.

El 13 de marzo de 2024, el Parlamento Europeo aprobó el Reglamento de la IA, denominada “Ley sobre IA”. Es la primera norma, a nivel mundial, que regula dicha cuestión.

Esta norma tiene como propósito abordar los posibles impactos negativos que el uso de la IA podría tener sobre diversos derechos fundamentales, conforme a lo establecido en la Carta de los Derechos Fundamentales de la Unión Europea. Reconoce que características inherentes a la IA, como su opacidad, complejidad, dependencia de datos y comportamiento autónomo, pueden generar riesgos para derechos esenciales como la dignidad humana, la privacidad, la igualdad, la no discriminación, la libertad de expresión y de reunión, así como el derecho a un juicio justo.

Para mitigar estos riesgos, el reglamento busca garantizar un alto nivel de protección de dichos derechos mediante un enfoque basado en la identificación y la gestión de amenazas concretas. Establece requisitos para asegurar que los sistemas de IA sean fiables y define obligaciones para los distintos actores involucrados en la cadena de valor de la IA, con el fin de promover la protección de derechos fundamentales, como la dignidad humana, la privacidad y la igualdad de género, entre otros.

Además, el reglamento persigue un equilibrio entre proteger los derechos fundamentales y la libertad de expresión y de reunión. También asegura la tutela judicial efectiva, la presunción de inocencia, los derechos de defensa y el principio de buena administración. Se busca, además, generar efectos positivos para grupos específicos, incluidos trabajadores, consumidores, niños y personas con discapacidad.

Así pues, introduce restricciones a la libertad de empresa y a la libertad artística y científica para garantizar que el desarrollo y el uso de tecnologías de IA de alto riesgo respeten objetivos de interés general, como la protección de la salud, la seguridad y los derechos de los consumidores.

Asimismo, clasifica los sistemas de IA según el nivel de riesgo que representan: cuanto mayor sea el riesgo, más estricta será la regulación. Incluso los sistemas de riesgo mínimo deben ser evaluados individualmente. La prioridad del Parlamento Europeo es garantizar que los sistemas de IA en la Unión sean seguros, transparentes, trazables, no discriminatorios y respetuosos con el medio ambiente. Para ello, se exige que su supervisión recaiga en personas y no en máquinas, reduciendo así el riesgo de consecuencias perjudiciales.

El Real Decreto-Ley 6/2023, de 19 de diciembre, por el que se aprueban medidas urgentes para la ejecución del Plan de Recuperación, Transformación y Resiliencia en materia de servicio público de justicia, función pública, régimen local y mecenazgo. En esta Ley, se habla del expediente judicial electrónico y regula la automatización de procesos o los llamados procesos inteligentes. En este sentido, se diferencian las actuaciones automatizadas, las actuaciones proactivas y las actuaciones asistidas.

En el art. 56, se denomina actuación automatizada a “[…] la actuación procesal producida por un sistema de información adecuadamente programado sin necesidad de intervención humana en cada caso singular”.

En ese mismo precepto, se nos dice que actuaciones proactivas son “[…] las actuaciones automatizadas, auto-iniciadas por los sistemas de información sin intervención humana, que aprovechan la información incorporada en un expediente o procedimiento de una Administración pública con un fin determinado, para generar avisos o efectos directos a otros fines distintos, en el mismo o en otros expedientes, de la misma o de otra Administración pública, en todo caso conformes con la ley”.

Por último, las actuaciones asistidas son aquellas para las que el sistema de información de la Administración de Justicia genera un borrador total o parcial de documento complejo basado en datos, que puede ser producido por algoritmos, y puede constituir fundamento o apoyo de una resolución judicial o procesal ‒art. 57‒.

Examinemos la evolución de los sistemas predictivos en la prevención y la investigación penal y su estado actual. En este contexto, es fundamental abordar la creación gradual de un ecosistema jurídico-tecnológico. Desde la introducción de los primeros sistemas expertos anglosajones, conocidos como Expert Systems (Kalinowsky, 1973), hasta las tecnologías actuales aplicadas al proceso penal y en la prevención y la investigación, ha habido una transformación significativa.

Los Expert Systems son asistentes inteligentes que, utilizando modelos de computación lógica, permiten realizar un tipo de razonamiento jurídico. Inicialmente, eran herramientas simples y rudimentarias, ya que no ofrecían respuestas argumentadas a las preguntas planteadas. Con el tiempo, fueron mejorándose, incorporando capacidades analíticas e interpretativas y entrenándose con grandes cantidades de datos a través de técnicas de deep learning (Barona Vilar, 2019).

En este contexto, también es relevante mencionar la jurimetría, que emplea métodos cuantitativos y estadísticos para analizar el Derecho. Estos métodos permiten medir ciertos resultados y, a partir de ellos, prever nuevos escenarios, todo basado en datos judiciales. Fue en 1950 cuando Wiener, creador de la cibernética, junto con Loevinge, aplicaron la jurimetría al ámbito jurídico (Barona Vilar, 2019).

¿Qué avances aporta la jurimetría al Derecho, y en particular al sistema de justicia penal? Al analizar datos, la jurimetría permite predecir resultados. Esto mejora la gestión de los tiempos, reduce trámites innecesarios y, por lo tanto, los costes, al mismo tiempo que facilita el diseño de estrategias más eficaces, ya que las decisiones pueden tomarse basándose en el análisis de hechos pasados.

No solo han surgido sistemas tecnológicos que optimizan la toma de decisiones, sino que, en los últimos años, especialmente desde la llegada de la pandemia, hemos observado una transformación significativa en los procedimientos judiciales. La necesidad de adaptarse a la tecnología debido al confinamiento y la imposibilidad de desplazarse físicamente han provocado un cambio en la forma en que se lleva a cabo la justicia, pasando de un modelo presencial a uno más digital.

Aparece lo que se denomina E-Justice: la creación de sistemas que permiten agendas electrónicas conjuntas entre las Fuerzas y Cuerpos de Seguridad del Estado y los juzgados¹⁵; la instauración del expediente judicial electrónico¹⁶ y la obligatoriedad de la utilización de los medios telemáticos en la relación de los profesionales con la Administración de Justicia; la creación de la “Carpeta Justicia”, que supone la implantación de un sistema de acceso único y personalizado de todo ciudadano a sus expedientes judiciales, la implementación de forma obligatoria de las vistas virtuales y la automatización del proceso judicial son señas identitarias de este concepto¹⁷, obligando eso sí a la creación de nuevas estructuras, al reforzamiento y la modernización de la planta judicial y a la necesaria formación de los distintos operadores jurídicos.

Los jueces robot son ya una realidad en distintos lugares del mundo. Son varios los ejemplos que pueden ponerse: Estonia, Argentina, Colombia¹⁸. Por otra parte, la automatización de la justicia es una realidad ya en España y los jueces ya están utilizando la IA como auxilio en su actividad jurisdiccional. De hecho, ha sido reciente cuando un juez de los Países Bajos, concretamente, el titular del Tribunal de primera instancia de Gelderland, resolviendo un proceso civil, concretamente un conflicto entre vecinos sobre la instalación de paneles solares y una estructura de techo adyacente, ha recogido en su sentencia cuál es, según el ChatGPT, la esperanza de vida media restante de unos paneles solares y el precio promedio de la electricidad en ese momento, datos esenciales para determinar de forma precisa la cuantía de la compensación económica a la que debía ser condenada la parte demandada¹⁹. Observemos, pues, cómo ha cambiado la forma de fundamentación de las resoluciones judiciales.

Hoy, en día, los profesionales del Derecho cuentan con herramientas de IA generativa que les permiten realizar tareas legales de manera más rápida, reduciendo costes y errores. Estas herramientas incluyen asistentes para redactar y analizar documentos legales, preparar vistas y pruebas, organizar auditorías y gestionar despachos, lo que ya es una realidad en la práctica actual. Asimismo, las Fuerzas y Cuerpos de Seguridad del Estado han transformado su forma de actuar para prevenir e investigar delitos; ya no se basa en la intuición, sino en el uso de herramientas predictivas de prevención e investigación, de las que hablaremos a continuación.

Es posible poner muchos ejemplos de cómo se trabaja en el ámbito de la vigilancia y la prevención delictual con herramientas de IA predictivas. Ha surgido así la denominada predictive policing o “justicia predictiva policial”, o vigilancia predictiva (Perry, McInnis, Price, Smith y Hollywood, 2013) y, por ende, la criminología ambiental o criminometría: métodos cuantitativos de análisis en el ámbito policial, utilizados para identificar objetivos, planificar la actividad policial, prevenir los delitos y resolver casos del pasado, a través de sistemas que permiten predecir estadísticamente lo que va a suceder (Barona Vilar, 2019). En palabras de la Organización para la Seguridad y la Cooperación en Europa, este fenómeno consiste en “la recopilación y evaluación sistemática de datos e información, a través de un proceso analítico definido, que los convierte en productos analíticos estratégicos y operativos, que sirven de base para un proceso decisorio mejorado, fundamentado y documentado”²⁰.

Se utilizan foros, webs, redes sociales y aplicaciones móviles para identificar áreas de alto riesgo y crear, así, los llamados “puntos calientes” o hot spots. La ventaja de detectar estos puntos es la posibilidad de elaborar mapas digitales de delitos, lo que permite conocer las zonas más propensas para la comisión de ciertos crímenes. Esto facilita la planificación de medidas preventivas, el refuerzo de la seguridad y la distribución eficiente de recursos policiales y materiales. Los mapas de riesgos se han vuelto esenciales para la prevención delictiva.

Estos sistemas predictivos comenzaron a utilizarse en EE. UU. En, Chicago, en 1920, se creó un software llamado BIG DATA. Fueron los orígenes de la aplicación de la IA a la predicción delictual.

En Europa, las primeras herramientas de análisis predictivo se utilizaron en Francia en 1994 con Anacrim, sistema que fue reemplazado en 2005 por i2 Analyst Notebook (i2AN), creando una base de datos estatal para compartir información entre distintos órganos. Estas herramientas permiten establecer conexiones entre personas y delitos, algo que el ser humano no puede hacer. En Francia, existen sistemas como Chardon y Salvac para identificar delitos violentos o sexuales cometidos por la misma persona.

En Italia, en 2007, se implementó KeyCrime en Milán para predecir crímenes en serie. En el Reino Unido, en 2013, se usó PredPol en Kent para la prevención delictiva. Bélgica y los Países Bajos adoptaron el sistema Crimen Anticipation System (CAS), mientras que en Alemania, en 2015, se implementó Skala, que analiza factores socioeconómicos y redes de comunicación para predecir la probabilidad de fuga de un delincuente y detectar zonas con alta delincuencia.

En España, la Policía Municipal de Madrid y la Policía Nacional utilizan el Sistema de Información Geográfica (SIG), que, desde 2015, ayuda en la geoprevención y permite crear estrategias preventivas para reducir la delincuencia, integrando datos sobre la relación entre los agentes del crimen y el territorio.

Hablemos también de CATT, en España, que es un sistema que busca identificar por el análisis del lenguaje el discurso utilizado por los abusadores y SWEETIE, en Australia, que ha permitido, a través de una niña virtual que aparece en chats y webs de citas, detectar pedófilos. VERIPOL es un sistema de IA utilizado por las Fuerzas y Cuerpos de Seguridad del Estado español y creado en colaboración con la Universidad Complutense de Madrid, que, a través de métodos de procesamiento del lenguaje natural y aprendizaje automático, posibilita calcular la probabilidad de que una declaración o denuncia sea falsa²¹.

En el ámbito de la investigación criminal, se deben citar las herramientas de investigación de los Cuerpos y Fuerzas de Seguridad del Estado. Así, VALCRI, Visual Analytics for sense making in Criminal Intelligence Analysis. Esta IA sirve a los investigadores en sus labores para relacionar evidencias habidas en la escena del crimen con datos obrantes en las bases de datos de la Policía y basados en técnicas biométricas y reconocimiento facial²².

En relación con los modelos biométricos, existen sistemas de IA que permiten la identificación de huellas dactilares, geometría de la mano, identificación del iris, imagen fácil, otograma (reconocimiento de la oreja), etc. Tienen por finalidad reconocer y autenticar a las personas que reúnen una serie de características fisiológicas o morfológicas determinadas (Boulgouris, 2010). Estos sistemas son aplicables en materia de investigación penal predictiva.

En primer lugar, es preciso tener en cuenta el concepto que el Reglamento de la UE sobre IA nos proporciona tanto sobre datos biométricos como sobre identificación biométrica y verificación biométrica, según el art. 3.

Los datos biométricos son “los datos personales obtenidos a partir de un tratamiento técnico específico, relativos a las características físicas, fisiológicas o conductuales de una persona física, como imágenes faciales o datos dactiloscópicos”.

La identificación biométrica es “el reconocimiento automatizado de características humanas de tipo físico, fisiológico, conductual o psicológico para determinar la identidad de una persona física comparando sus datos biométricos con los datos biométricos de personas almacenados en una base de datos”. Esta puede ser remota, que es la que permite identificar a las personas físicas sin su participación activa y generalmente a distancia, comparando sus datos biométricos con los que figuran en una base de datos de referencia y esta a su vez, en tiempo real o en diferido. La primera es aquella en la que la recopilación de los datos y la comparación y la identificación tienen lugar sin una demora significativa; pudiendo ser identificación instantánea y no instantánea; esta última cuando se produce una demora mínima limitada. En diferido, es la identificación que no se produce en tiempo real.

La verificación biométrica será automatizada y uno-a-uno, incluida la autenticación, de la identidad de las personas físicas mediante la comparación de sus datos biométricos con los datos biométricos facilitados previamente.

En este sentido, mencionamos que la Policía Nacional lleva ya unos cuantos meses utilizando un sistema de reconocimiento biométrico, llamado ABIS, que permite realizar un reconocimiento facial de una persona si sobre ella existen registros. En total, hay trece estaciones operativas de ABIS repartidas por el país: dos, en Madrid y una, en Barcelona, Granada, Málaga, Sevilla, Valencia, Valladolid, Las Palmas, Zaragoza y Bilbao. Pronto se unirá otra en Pamplona. Asimismo, la Guardia Civil cuenta con dos estaciones de reconocimiento facial en Madrid y los Mossos d’Esquadra también están implementando un sistema parecido²³. Estos métodos suponen una revolución en los procedimientos aplicados por la Policía en la investigación de los delitos, pues la única posible identificación de una persona presuntamente responsable de un delito hasta el momento era la que se producía a través de una prueba pericial consistente en el análisis de la huella dactilar o de ADN.

El sistema IA funciona de la siguiente manera: en una primera fase, se extrae el rostro de la imagen mediante una tecnología llamada visión computacional. Tras ello, se aplica un algoritmo a ese rostro, obteniendo un patrón que lo represente y lo diferencie de los demás. El algoritmo posibilita buscar ese patrón en extensos bancos de imágenes y ofrecer los resultados que más se parezcan. Estos sistemas de reconocimiento facial pueden ser aplicados donde antes se hacían retratos robot.

En la UE, el uso de sistemas de identificación biométrica remota en tiempo real en espacios públicos está prohibido, salvo cuando sea estrictamente necesario para objetivos específicos, como la búsqueda de víctimas de secuestros o personas desaparecidas, o para prevenir amenazas graves e inminentes a la vida o la seguridad. En estos casos, solo se permitirá para confirmar la identidad de la persona objetivo, teniendo en cuenta la gravedad de la situación y el impacto en los derechos y libertades de las personas involucradas. Además, se deben cumplir garantías y condiciones proporcionales según el Derecho nacional, como limitaciones temporales, geográficas y personales. Estos sistemas deben ser autorizados y registrados en la base de datos de la UE, excepto en casos de urgencia justificada. Los Estados miembros pueden autorizar, total o parcialmente, el uso de estos sistemas bajo las condiciones mencionadas. También están prohibidos los sistemas de IA que creen bases de datos de reconocimiento facial mediante la recolección no selectiva de imágenes de internet o circuito cerrado de televisión ‒CCTV‒.

¿Cuál es la razón de tales restricciones previstas en el Reglamento de IA? Se ha demostrado que los sistemas de reconocimiento biométrico se han utilizado con fines discriminatorios y racistas²⁴. Si a esto se le une la forma que utilizan las herramientas de IA para disponer de una base de datos de millones de rostros, el problema se agrava aún más, pues ciertos softwares aprovechan todas las imágenes publicadas en perfiles y páginas web públicas para hacerse con ellas y poder utilizarlas en los posteriores reconocimientos. La vulneración de derechos fundamentales, tales como la privacidad y el derecho a la propia imagen, es flagrante, pues todo ello se hace sin consentimiento de los titulares²⁵.

Hablando ya del ámbito judicial, que no policial, y en el de la llamada justicia penal predictiva, destacan sistemas como el ya mencionado de COMPAS (EE. UU.) y HART (Reino Unido). El primero es un sistema que utiliza, como se indicó, técnicas de aprendizaje automático, dentro de un sistema de aprendizaje supervisado, concretamente un sistema de clasificación, para predecir la probabilidad de que un individuo reincida o cometa un delito en el futuro, lo que se traduce en una tarea de clasificación binaria ‒reincidencia o no reincidencia‒. El algoritmo utilizar técnicas de aprendizaje supervisado para aprender patrones en los datos de entrenamiento y luego aplica esos patrones para hacer predicciones sobre nuevos individuos. HART también es capaz de pronosticar si los sospechosos tienen un bajo, moderado o alto riesgo de cometer más delitos en un periodo de dos años. Ambos sistemas se aplican en la adopción de medidas cautelares como la privación de libertad o sistemas de rehabilitación. Por ejemplo, HART utiliza datos de 34 categorías diferentes (edad, sexo, domicilio, antecedentes penales, profesión, estado civil, etc.)²⁶.

El sistema de IA llamado LSI-R, Level of Service Inventory-Revised, se utiliza en los permisos de salida y la libertad condicional de los procesados, basándose en la ponderación de criterios tales como antecedentes penales, lugar de residencia, educación, empleo, ocio, familia, problemas de alcohol o drogas, actitudes emocionales y personales.

RIS CANVI es un sistema utilizado en Cataluña por los jueces de instituciones penitenciarias y en virtud del cual pueden otorgar permisos de salida de los presos.

Otra herramienta similar a las anteriores es VIOGÉN, que se utiliza en España para analizar los riesgos de reincidencia en el ámbito de la violencia de género.

En el ámbito de la UE, y según el Reglamento de IA, están prohibidos los sistemas de IA para realizar evaluaciones de riesgos de personas físicas con el fin de valorar o predecir el riesgo de que una persona física cometa un delito, cuando se basan de forma exclusiva en la elaboración de su perfil o en la evaluación de los rasgos y características de su personalidad, aunque dicha prohibición no aplica cuando sirvan de apoyo a la valoración humana de la implicación de una persona en una actividad delictiva que ya se base en hechos objetivos y verificables directamente relacionados con una actividad delictiva ‒art.3.1.d)‒.

Pero no solo existen herramientas de IA aplicables a medidas cautelares, también se han desarrollado ya métodos cuantitativos que permiten una algoritmización de la prueba²⁷. Posibilitan un análisis de riesgos, por ejemplo, sobre la fiabilidad de un testigo. Recordemos que la prueba testifical se valora según criterios lógicos y de razón del juez, debiendo este motivar en la sentencia la fijación como ciertos de los hechos en virtud de la prueba testifical realizada. En este sentido, cabe mencionar ADVOCATE.

En otro orden de cosas, también se han creado sistemas de IA que ayudan a los jueces a dictar sentencias, es el caso de ASSYST, en Canadá (Simón y Gaes, 1989) o LIST, en Columbia (Schild, 1998). Todos ellos son herramientas predictivas aplicadas en la función jurisdiccional.

¿Qué se entiende, entonces por justicia penal predictiva? Son términos muy amplios. En definitiva, el conjunto de herramientas que buscan la eficiencia procesal, que supone una mejora en la calidad de la toma de decisiones y una aminoración del trabajo realizado por los jueces (Armenta Deu, 2021).

El uso de sistemas de inteligencia artificial predictiva facilita la creación de un sistema preventivo de seguridad y lucha contra el delito, basado en un análisis de riesgos mucho más preciso que el realizado a través de cálculos humanos. Los errores humanos en la valoración de datos se reducen al utilizar algoritmos automáticos que permiten prever lo que podría ocurrir, ajustando los recursos necesarios en consecuencia.

En términos de seguridad y prevención delictiva, estos sistemas optimizan tanto los recursos materiales como humanos, asignando recursos de acuerdo a las necesidades reales. Además, facilitan la vigilancia dinámica, mejorando su calidad visual y acústica, y permiten una replanificación de los recursos cuando los inicialmente previstos no sean suficientes o adecuados. Todo ello contribuye a un ahorro de costes y a una mejora en la seguridad ciudadana, optimizando los recursos aplicados en el proceso penal, que debe ser eficiente y debe ser considerado como servicio público.

Una planificación eficaz en la prevención delictiva impacta directamente en la estructuración del Derecho Penal como ultima ratio, respaldando la idea de que “más vale prevenir que curar”. Con ello, se prioriza un Derecho Penal ex ante, que otorga mayor protagonismo a las Fuerzas y Cuerpos de Seguridad del Estado en la prevención, en lugar de la represión, tras la comisión de un delito, tras la sustanciación del proceso penal. Así, se actúa ante los riesgos y las amenazas, en vez de centrarse en la sanción penal. Reforzar la fase de prevención preprocesal es una característica de los sistemas avanzados.

El cálculo de riesgos realizado por la IA, en cuanto a la probabilidad de reincidencia o la evaluación de la credibilidad de un testigo, permite ahorrar tiempo a los jueces al basarse en criterios matemáticos para sus decisiones. La automatización de estos procesos aumenta la eficiencia, dejando que los jueces realicen tareas que requieren su intervención directa. Además, el cálculo matemático de los riesgos proporciona objetividad, promoviendo la imparcialidad en decisiones relacionadas con los derechos fundamentales.

En cuanto a las pruebas penales, la IA predictiva mejora el sistema al complementar las pruebas periciales, permitiendo probar hechos que anteriormente no era posible. Esto contribuye a un proceso penal más moderno y acorde con los tiempos, permitiendo la utilización de nuevas figuras como la vigilancia dinámica o el agente encubierto informático.

Por último, debe plantearse también la ventaja que tiene el posible uso de la IA predictiva por parte de los abogados. Ahorro de tiempo y eficiencia son dos de las fortalezas que para un letrado puede representar el uso de esta tecnología. Si un algoritmo le calcula el riesgo de reincidencia de un cliente, le será mucho más fácil plantear la estrategia de defensa frente a estos cálculos.

Sin embargo, a pesar de sus fortalezas, el uso de la IA predictiva presenta importantes debilidades. La IA no es infalible y, aunque en principio es neutral, puede sufrir sesgos y ser manipulada con fines malintencionados. Los algoritmos, lejos de ser imparciales, pueden generar discriminación. Si las Fuerzas y Cuerpos de Seguridad del Estado, si los jueces utilizan estas herramientas debemos estar seguros de que no se basan en cálculos matemáticos discriminatorios. Por ello, debe regularse que los algoritmos aplicados en el ámbito del Derecho y, concretamente, en la predicción penal debe estar controlados por una autoridad pública.

Debemos advertir sobre la utilización en remoto de los reconocimientos biométricos o faciales. El fin no justifica los medios. La prevención y la investigación criminal no deben suponer quebrantar derechos fundamentales, tales como la intimidad o el derecho a la propia imagen de las personas. Atención debe prestarse a las fuentes de las que se nutren las bases de datos que después se toman como muestra para realizar las identificaciones.

Además, estos sistemas predictivos pueden vulnerar derechos fundamentales, como el derecho de defensa, la presunción de inocencia, el principio in dubio pro reo y el principio de contradicción. Si la IA se utiliza como única prueba, la sentencia de condena podría carecer de base suficiente para invalidar la presunción de inocencia, ya que los algoritmos pueden presuponer culpabilidad. La opacidad de los algoritmos, o las llamadas “cajas negras”, dificulta la comprensión de los resultados obtenidos.

La falta de motivación en las resoluciones judiciales basadas únicamente en herramientas predictivas también plantea un problema, ya que la motivación es esencial para garantizar el derecho a la tutela judicial efectiva. La ausencia de una justificación suficiente puede vulnerar este derecho, como ha señalado el Tribunal Constitucional.

Una debilidad crítica es la responsabilidad por los daños causados por predicciones erróneas. Debe aclararse quién es responsable: ¿el que eligió el algoritmo?, ¿el que seleccionó los datos con los que la IA fue entrenada?, ¿quién no revisó los resultados?, ¿quién los interpretó o los aplicó?

En este contexto, resulta relevante la sentencia de la Audiencia Nacional de 30 de septiembre de 2020, que establece que la información obtenida en la fase preprocesal de una investigación policial puede orientar al juez en la adopción de medidas cautelares, pero no es decisiva. Se trata de un asesoramiento especializado que ayuda en la valoración del “riesgo objetivo para la víctima”, entre otros instrumentos incluidos en la LECrim para tomar decisiones durante la instrucción judicial.

Otra debilidad significativa es la responsabilidad por errores predictivos. Se debe establecer quién asume la responsabilidad en caso de que los resultados erróneos de la IA causen daños. En este contexto, la jurisprudencia sugiere que la IA debe considerarse como una herramienta de asesoramiento, no como la base decisiva de una sentencia, especialmente en la adopción de medidas cautelares.

El hecho de que los jueces puedan tener dudas no implica que su valoración deba ser sustituida por los resultados arrojados por un algoritmo o una máquina. En fase cautelar, encontramos el problema de la presunción de inocencia. La doctrina está dividida. Mientras que unos autores manifiestan sus reticencias (Llorente Sánchez-Arjona, 2022), otros indican que la ayuda proporcionada por la IA no debe de ser desechada: las medidas cautelares son necesarias y siempre se adoptan valorando determinados riesgos ‒fuga, reiteración delictiva o de comisión de delito frente a bienes jurídicos de la víctima‒, sin que haya motivo para restringir sin más los elementos cognitivos que utiliza el juez a la hora de dictar un auto de prisión provisional (Hoyos Sancho, 2020).

La misma LECrim proporciona los elementos que han de tenerse en cuenta a la hora de valorar los requisitos de la prisión provisional. Por ejemplo, para valorar la existencia del riesgo de fuga ‒art 503.1.3.º LECrim y, por todas, sentencia del Tribunal Constitucional 128/1995, de 26 de julio‒, se debe atender de forma conjunta a los siguientes elementos: la naturaleza del hecho; la gravedad de la pena que pudiera imponerse al investigado o encausado; la situación familiar, laboral y económica de este, y la inminencia de la celebración del juicio oral. La valoración del juez se realiza antes de adoptar una decisión sobre una medida cautelar, no pudiendo obviar que el juez es profesional y cuenta con experiencia, siendo imparcial e independiente. Argumentar que el juez puede tener sesgos a la hora de tomar decisiones es tanto como poner en duda su imparcialidad. Los sesgos que puede tener un juez no serán evitados por la IA. Simón Castellano (2021) pone de manifiesto que estos sesgos se podrían replicar en el caso de una máquina, pudiéndose producir incluso automatismos que llevasen a perpetuar los producidos por un juez humano o incluso agravarlos, al programar la máquina de acuerdo a los patrones de decisión humanos, sin volver a analizarse el nivel de riesgo y la proporcionalidad de la medida, de forma individualizada y según las circunstancias de cada caso concreto.

La aplicación de la IA en fase de ejecución plantea menos problemas, al existir una sentencia firme de condena.

En relación con todo lo expuesto debemos citar el informe Artificial Intelligence and Fundamental Rights European Union Agency for Fundamental Rights (2020), el cual se refiere expresamente a la justificación adecuada de los criterios y procesos mediante los cuales se adoptan decisiones basadas en algoritmos.

Decíamos que la utilización de la IA para los abogados también representa una ventaja, ¿ningún riesgo? Pues sí y es que el uso de la IA plantea importantes cuestiones relacionadas con el derecho de defensa y el principio de igualdad de armas. Si una parte tiene acceso a tecnología de IA avanzada mientras que la otra no, se puede producir un “desequilibrio cognoscitivo” que afecta la paridad entre las partes. Este desequilibrio se manifiesta principalmente en dos aspectos: acceso a la tecnología, pues el Ministerio Fiscal generalmente tendrá acceso a tecnología más moderna y recursos económicos que no están al alcance del letrado del acusado. En segundo lugar, la comprensión de la evidencia, pues, si resulta imposible acceder al “código fuente” del algoritmo de IA utilizado, sería casi imposible para la defensa cuestionar o impugnar los resultados proporcionados por el sistema que podrían usarse como prueba. Para garantizar el principio de igualdad de armas, se precisaría que el Estado garantice el acceso a esta tecnología a la parte que no pueda costearla por sí misma. Ha de decirse que valorar la prueba obtenida basada en algoritmos proporcionados por la IA y su posible refutación, cuando existe asimetría tecnológica, supone una vulneración del derecho de defensa, del principio de contradicción y de igualdad. Se precisa asegurar que todas las partes intervinientes en el proceso puedan comprender, analizar y cuestionar las evidencias generadas por sistemas de IA para mantener un proceso justo y equitativo.

Los riesgos que la IA predictiva ponen encima de la mesa para los derechos fundamentales de los ciudadanos nos hacen exigir una regulación procesal española en relación a ciertas cuestiones de vital importancia. Cierto es que el Real Decreto-Ley 6/2023, 19 de diciembre, ya regula la automatización de procesos, pero resulta imperioso regular el uso de la IA en la Ley Orgánica del Poder Judicial y en las distintas leyes procesales. Algunos autores entienden que son suficientes los códigos de buenas prácticas.

Tan necesario como lo anterior, entendemos resulta imprescindible crear una cultura behaviour, tanto en el ámbito público como privado ‒behavioral compliance‒.