![Los mejores ventiladores inteligentes [2025]](https://www.trecebits.com/wp-content/uploads/2024/01/dreo-smart-tower-fan-150x150.webp?#)
España ha fiado a la IA la lucha contra la violencia de género. Y se está traduciendo en fallos mortales
Una mujer llamada Lina fue a la policía el pasado mes de enero. Su expareja la había amenazada en su casa, en Benalmádena, y en comisaría la interrogaron y registraron su caso en el Sistema de Seguimiento Integral en los casos de Violencia de Género, conocido como VioGén. Este sistema, basado en un algoritmo, determinó que Lina era una persona de riesgo "medio". Tres semanas después fue presuntamente asesinada por su pareja. No es la primera vez que algo así ocurre, y muestra que tenemos un serio problema con nuestra potencial dependencia de los algoritmos. El origen de VioGén. El ministerio del Interior desarrolló en 2007 el Sistema VioGén (Seguimiento Integral en los casos de Violencia de Género). Entre sus objetivos estaba el de hacer una predicción del riesgo y, en función de esa predicción, realizar el seguimiento y protección de las víctimas. Cómo funciona. El sistema se basa en la recopilación y análisis proveniente de diversas fuentes como denuncias policiales, órdenes de protección o antecedentes penales. En la denuncia, por ejemplo, se realizan una serie de preguntas sobre el episodio de la agresión, la situación de la víctima, los hijos, el perfil del agresor o los agravantes de vulnerabilidad, como la dependencia económica. En Xataka Los humanos que se rebelan contra los algoritmos Niveles de riesgo. A partir de esa evaluación se asigna a cada caso uno de los cuatro niveles de riesgo (1 - Bajo, 2 - Medio, 3 - Alto, 4 - Extremo). Cada uno de ellos conlleva medidas específicas que pueden incluir desde asignación de dispositivos de teleasistencia a órdenes de alejamiento. En el riesgo extremo la mujer cuenta con vigilancia policial las 24 horas. VioGén 2. El sistema ha ido evolucionando desde su creación y en estos últimos meses se ha ido implantando su segunda versión, VioGén 2. Como explican en Artículo 14, el algoritmo se actualizó con novedades como la de elimnar el riesgo no apreciado y dificultar la inactivación de casos abiertos. Así, aparece una nueva modalidad de inactivación supervisada que fija mecanismos de control policial durante un periodo de seis meses prorrogable a un año. Eso hace posible monitorizar casos en los que los expertos policiales no hayan apreciado la existencia de riesgo para la mujer o este sea bajo. Protocolo Cero. Hay también modificaciones que permitirán que si la víctima lo solicita de manera "voluntaria, manifiesta y reiterada" se puedan inactivar casos de riesgo no apreciado, bajo o medio. Aun así se debe activar aquí el llamado "Protocolo Cero" ideado para minimizar el riesgo de las víctimas que manifiestan su deseo de no denunciar. Según la macroencuesta de Igualdad, la inmensa mayoría de las víctimas no denuncia, y por lo tanto tampoco se las protege: las instituciones solo tienen conocimiento del 21,7% de los casos según dicha encuesta. Tragedias por doquier. El problema es que el sistema no es del todo efectivo. El presunto asesinato de Lina es el último ejemplo de la limitada fiabilidad de VioGén. En octubre de 2024 una mujer de 56 años fue asesinada a pesar de haber pedido ayuda hasta en dos ocasiones. Antes, en 2024, otra mujer fue asesinada por su pareja y ella también formaba parte del sistema VioGén. El algoritmo parece minimizar el riesgo. En el caso de Lina, por ejemplo, el sistema VioGén asignó el riesgo "medio" para ella, y eso parece ocurrir en más ocasiones. En septiembre de 2024, 96.644 mujeres se encontraban dentro del sistema VioGén, pero tan solo 12 de ellas se consideraron riesgo extremo, el 0,01% del total. Tanto la ministra de Igualdad, Ana Redondo, como el ministro de Interior, Fernando Grande-Marlaska, minimizan los errores reconociendo que "el modelo no es infalible, pero salva muchas vidas". Nueva alarma contra la IA y los algoritmos. En los últimos tiempos estamos viendo cómo hay cada vez más casos en los que se concede excesiva confianza a los algoritmos en temas especialmente sensibles utilizados en administraciones e instituciones públicas. La IA no para de equivocarse. Ocurrió con el sistema Veripol utilizando IA para detectar denuncias falsas: su fiabilidad real era muy discutible. Algo antes, en marzo, vivimos el escándalo del 'Caso Ábalos' en el que una IA usada para transcribir las declaraciones de testigos y acusados cometía errores y acaba convirtiendo algunos párrafos en un galimatías. El propio sistema de IA para reconocimiento facial que por ejemplo se está utilizando en cámaras de videovigilancia en Madrid ha hecho también saltar las alarmas en materia de privacidad. En el Reino Unido se usó una IA para predecir crímenes a lo Minority Report, y sus resultados fueron lamentables. Los intentos por aplicar la IA en procesos judiciales y policiales también han generado conclusiones preocupantes. Falta de transparencia. Estos sistemas suelen ser criticados además por su fal
Una mujer llamada Lina fue a la policía el pasado mes de enero. Su expareja la había amenazada en su casa, en Benalmádena, y en comisaría la interrogaron y registraron su caso en el Sistema de Seguimiento Integral en los casos de Violencia de Género, conocido como VioGén. Este sistema, basado en un algoritmo, determinó que Lina era una persona de riesgo "medio". Tres semanas después fue presuntamente asesinada por su pareja. No es la primera vez que algo así ocurre, y muestra que tenemos un serio problema con nuestra potencial dependencia de los algoritmos.
El origen de VioGén. El ministerio del Interior desarrolló en 2007 el Sistema VioGén (Seguimiento Integral en los casos de Violencia de Género). Entre sus objetivos estaba el de hacer una predicción del riesgo y, en función de esa predicción, realizar el seguimiento y protección de las víctimas.
Cómo funciona. El sistema se basa en la recopilación y análisis proveniente de diversas fuentes como denuncias policiales, órdenes de protección o antecedentes penales. En la denuncia, por ejemplo, se realizan una serie de preguntas sobre el episodio de la agresión, la situación de la víctima, los hijos, el perfil del agresor o los agravantes de vulnerabilidad, como la dependencia económica.
Niveles de riesgo. A partir de esa evaluación se asigna a cada caso uno de los cuatro niveles de riesgo (1 - Bajo, 2 - Medio, 3 - Alto, 4 - Extremo). Cada uno de ellos conlleva medidas específicas que pueden incluir desde asignación de dispositivos de teleasistencia a órdenes de alejamiento. En el riesgo extremo la mujer cuenta con vigilancia policial las 24 horas.
VioGén 2. El sistema ha ido evolucionando desde su creación y en estos últimos meses se ha ido implantando su segunda versión, VioGén 2. Como explican en Artículo 14, el algoritmo se actualizó con novedades como la de elimnar el riesgo no apreciado y dificultar la inactivación de casos abiertos. Así, aparece una nueva modalidad de inactivación supervisada que fija mecanismos de control policial durante un periodo de seis meses prorrogable a un año. Eso hace posible monitorizar casos en los que los expertos policiales no hayan apreciado la existencia de riesgo para la mujer o este sea bajo.
Protocolo Cero. Hay también modificaciones que permitirán que si la víctima lo solicita de manera "voluntaria, manifiesta y reiterada" se puedan inactivar casos de riesgo no apreciado, bajo o medio. Aun así se debe activar aquí el llamado "Protocolo Cero" ideado para minimizar el riesgo de las víctimas que manifiestan su deseo de no denunciar. Según la macroencuesta de Igualdad, la inmensa mayoría de las víctimas no denuncia, y por lo tanto tampoco se las protege: las instituciones solo tienen conocimiento del 21,7% de los casos según dicha encuesta.
Tragedias por doquier. El problema es que el sistema no es del todo efectivo. El presunto asesinato de Lina es el último ejemplo de la limitada fiabilidad de VioGén. En octubre de 2024 una mujer de 56 años fue asesinada a pesar de haber pedido ayuda hasta en dos ocasiones. Antes, en 2024, otra mujer fue asesinada por su pareja y ella también formaba parte del sistema VioGén.
El algoritmo parece minimizar el riesgo. En el caso de Lina, por ejemplo, el sistema VioGén asignó el riesgo "medio" para ella, y eso parece ocurrir en más ocasiones. En septiembre de 2024, 96.644 mujeres se encontraban dentro del sistema VioGén, pero tan solo 12 de ellas se consideraron riesgo extremo, el 0,01% del total. Tanto la ministra de Igualdad, Ana Redondo, como el ministro de Interior, Fernando Grande-Marlaska, minimizan los errores reconociendo que "el modelo no es infalible, pero salva muchas vidas".
Nueva alarma contra la IA y los algoritmos. En los últimos tiempos estamos viendo cómo hay cada vez más casos en los que se concede excesiva confianza a los algoritmos en temas especialmente sensibles utilizados en administraciones e instituciones públicas.
La IA no para de equivocarse. Ocurrió con el sistema Veripol utilizando IA para detectar denuncias falsas: su fiabilidad real era muy discutible. Algo antes, en marzo, vivimos el escándalo del 'Caso Ábalos' en el que una IA usada para transcribir las declaraciones de testigos y acusados cometía errores y acaba convirtiendo algunos párrafos en un galimatías. El propio sistema de IA para reconocimiento facial que por ejemplo se está utilizando en cámaras de videovigilancia en Madrid ha hecho también saltar las alarmas en materia de privacidad. En el Reino Unido se usó una IA para predecir crímenes a lo Minority Report, y sus resultados fueron lamentables. Los intentos por aplicar la IA en procesos judiciales y policiales también han generado conclusiones preocupantes.
Falta de transparencia. Estos sistemas suelen ser criticados además por su falta de transparencia. Veripol es un buen ejemplo, pero tuvimos otros. En 2024 hablamos del sistema BOSCO, utilizado por las compañías eléctricas para decidir quién y quién no puede acogerse al bono social para las ayudas a la factura de la luz. El Gobierno se negó a compartir el código fuente alegando motivos de seguridad pública y defensa nacional. No es un problema solo de España: hay un algoritmo que sugiere a los jueces de EEUU qué condenas imponer, pero su código es un secreto, por ejemplo. En temas tan delicados, la falta de transparencia sobre el funcionamiento de estos algoritmos es especialmente preocupante.
¿No había agencias para esto? En 2021 se pactó la creación de una Agencia Española de Supervisión de la Inteligencia Artificial (AESIA). Estaba más centrada al parecer en vigilar el cumplimiento de la Ley de Servicios Digitales (DSA) en plataformas como las grandes redes sociales, y de hecho en 2022 Sevilla fue la elegida para albergar el primer Centro Europeo para la Transparencia Algorítimica (ECAT).
Qué pasa con AESIA. Más recientemente hemos visto como la AESIA por fin quiere tomar forma con su sede de La Coruña y comenzar a operar en 2025 para teóricamente centrarse en la aplicación de la Ley de la IA de la UE. Su objetivo es teóricamente el de llevar a cabo "medidas destinadas a la minimización de riesgos significativos sobre la seguridad y salud de las personas, así como sobre sus derechos fundamentales, que puedan derivarse del uso de sistemas de IA". Tanto el caso de VioGén como el de Veripol o lo sucedido en el 'Caso Ábalos' son precisamente susceptibles de entrar en ese ámbito, y queda por ver si la actividad de esta agencia logra ayudar a que tanto los algoritmos utilizados como su aplicación sean óptimos.
Imagen | James Harrison | Policía Nacional
-
La noticia
España ha fiado a la IA la lucha contra la violencia de género. Y se está traduciendo en fallos mortales
fue publicada originalmente en
Xataka
por
Javier Pastor
.
