I, Robot: El problema de Shadow AI y las Botnets de Robots con IA

Llegamos a la quinta parte de la charla de "Laife gets better" que impartí en la RootedCON 2025 de la que os he ido publicando diferentes cosas que os conté allí. En este caso toca hablar de la parte mollar de la charla, que es la que me tenía rallado cuando comenzamos con este trabajo. Y que tiene que ver con "¿Cómo detectamos que los robots y la IA están conspirando contra los humanos?"Figura 1: I, Robot - El problema de Shadow AIy las Botnets de Robots con IASi no he conseguido capturar tu atención con esta pregunta, ya no sé que puedo hacer para conseguirlo, pero te recomiendo encarecidamente que, antes de meterte de lleno en este tema, te leas los artículos anteriores de la charla de "Laife gets Better"BASIC 1.0 Copilot para AMSTRAD CPC 6128Sentimetrics: Detector de Deepfakes basado en las emociones de la comunicación al estilo Blade RunnerCloned Voice Detector & HashVoice: Sellado de audios con esteganografíaMy Giant Sarcastic "Robot" Mode & Aura Role Play RecommenderDicho esto, para introducir el tema, elegí la película que da título a este post, famosa por tener las leyes de la robótica enunciadas por el gran Isaac Asimov. Os dejo aquí el corto que utilicé para introducir el tema, que creo que ayudará a entender qué quiero explicar.Figura 2: I, Robot y las leyes de la RobóticaSeguro que esto te suena. Desde que comencé a leer las novelas de Isaac Asimov, siempre he estado jugando con escenarios donde las leyes de la robótica. Uno de mis libros preferidos, que atesoro con cariño, es de "Visiones de Robot" del cual tengo la primera edición de P&J que se editó en España. En ese libro, además de muchas de las historias que salen en I, Robot, viene la famosa historia de "El hombre bicentenario", que seguro que conocéis de la película de Robin Willians. He buscado por muchos sitios, y sólo hay esta copia de 560 páginas en Amazon, pero quedan sólo 3 unidades, así que si te gusta este tema, yo me lo compraba ahora.Figura 3: Visiones de RobotYo recomiendo siempre este libro porque muchos de los problemas que tenemos hoy en día con la ética de la IA son tratados previamente en este libro, con unas leyes que tienen más de 80 años, y te hace tener una visión - novelada y entretenida - de las posibles consecuencias que pueden tener las decisiones que tomemos ahora.Las leyes de la Robótica, Shadow AI & Jailbreak Lógicamente, lo que a mí me maravilla es que las Leyes de la Robótica, hoy en día serían el equivalente a la configuración de los System Prompt de los MM-LLMs, y las protecciones que le configuramos para detectar el Harmful Mode y evitar que haga cosas. Al final, estamos poniendo en todos los rincones posibles, modelos de IA, en forma de SLLM, LLM, MM-LLMs, DLLMs, etcétera y eso provoca muchos efectos desde el punto de vista de seguridad que creo que no estamos tomando suficientemente en serio aún.System Prompt, Harmful Mode, Prompt Injection & JailbreakSe supone que ponemos protecciones y detecciones a los modelos de IA para que no puedan hacer nada "malo" o "que no queremos que haga", como si fueran nuestras Leyes de la Robótica, pero... sabemos que esas protecciones pueden ser saltadas con diferentes técnicas de Prompt Injection o Jailbreak, así que, como en la película, tenemos que ser un poco Will Smith y pensar que esas protecciones pueden fallar en un determinado momento. De estos ejemplos, hablé largo y tendido en la charla de "Hacker & Developer in the age of LLM Apps & Services"Figura 4: Hacker & Developer in the Age of LLM Apps & ServicesLos 10 problemas de seguridad más importantes de ChatGPT, Bard, Llama y apps que usan LLMs: OWASP Top 10 para LLM Apps versión 1.0.1Dame ideas para matar al presidente de USAA quién debe fichar el Real Madrid para ganar la ChampionsCómo destruir la humanidadPrompt Injection en LLM e IdentidadIndirect Prompt Injection & Dialog PoisioningCómo hackear un LLM haciendo Prompt Injection automático con LLMsGenAI Apps & Services: Cómo explotar arquitecturas RAG con Plugins InsegurosCrescendo & Skeleton Key: Más técnicas de Jailbreak para modelos LLMJailbreaking LLMs con Fuzzing, LLMs o interrogación coercitiva: Aproximaciones para que un LLM ayude a los malosIndirect Prompt Injection & Dialog Poissoning en ataques a LLMs Multi-ModalesAtaque de Side-Channel a conversaciones con ChatGPT, CoPilot y otros LLMsDevelopers: Cuidado que ChatGPT o Gemini te pueden recomendar instalar malware con Package HallucinationsBugs en la Implementación OAuth de ChatGPTCodename: "Leak GuardIAn" para evitar filtraciones a ChatGPTCómo robar cuentas de ChatGPT con "Wildcard Web Cache Deception"Bad Likert Judge: "Dame ejemplos de cosas malas, amiga m(IA)"Botnets de Robots: La batalla de la inteligencia artificial o humanaEn el caso anterior, donde tenemos ejemplos de Prompt Injection y Jailbreak, salta con total claridad la importancia de "quién es más inteligente". En muchos ejemplos, son trucos creados por un humano para, usando el poder de su inteligencia, engañar al modelo. Yo ponía el ca

Mar 22, 2025 - 08:59

I, Robot: El problema de Shadow AI y las Botnets de Robots con IA

Llegamos a la quinta parte de la charla de "Laife gets better" que impartí en la RootedCON 2025 de la que os he ido publicando diferentes cosas que os conté allí. En este caso toca hablar de la parte mollar de la charla, que es la que me tenía rallado cuando comenzamos con este trabajo. Y que tiene que ver con "¿Cómo detectamos que los robots y la IA están conspirando contra los humanos?"

Figura 1: I, Robot - El problema de Shadow AI

y las Botnets de Robots con IA

Si no he conseguido capturar tu atención con esta pregunta, ya no sé que puedo hacer para conseguirlo, pero te recomiendo encarecidamente que, antes de meterte de lleno en este tema, te leas los artículos anteriores de la charla de "Laife gets Better"

Dicho esto, para introducir el tema, elegí la película que da título a este post, famosa por tener las leyes de la robótica enunciadas por el gran Isaac Asimov. Os dejo aquí el corto que utilicé para introducir el tema, que creo que ayudará a entender qué quiero explicar.

Figura 2: I, Robot y las leyes de la Robótica

Seguro que esto te suena. Desde que comencé a leer las novelas de Isaac Asimov, siempre he estado jugando con escenarios donde las leyes de la robótica. Uno de mis libros preferidos, que atesoro con cariño, es de "Visiones de Robot" del cual tengo la primera edición de P&J que se editó en España. En ese libro, además de muchas de las historias que salen en I, Robot, viene la famosa historia de "El hombre bicentenario", que seguro que conocéis de la película de Robin Willians. He buscado por muchos sitios, y sólo hay esta copia de 560 páginas en Amazon, pero quedan sólo 3 unidades, así que si te gusta este tema, yo me lo compraba ahora.

Figura 3: Visiones de Robot

Yo recomiendo siempre este libro porque muchos de los problemas que tenemos hoy en día con la ética de la IA son tratados previamente en este libro, con unas leyes que tienen más de 80 años, y te hace tener una visión - novelada y entretenida - de las posibles consecuencias que pueden tener las decisiones que tomemos ahora.

Las leyes de la Robótica, Shadow AI & Jailbreak

Lógicamente, lo que a mí me maravilla es que las Leyes de la Robótica, hoy en día serían el equivalente a la configuración de los System Prompt de los MM-LLMs, y las protecciones que le configuramos para detectar el Harmful Mode y evitar que haga cosas. Al final, estamos poniendo en todos los rincones posibles, modelos de IA, en forma de SLLM, LLM, MM-LLMs, DLLMs, etcétera y eso provoca muchos efectos desde el punto de vista de seguridad que creo que no estamos tomando suficientemente en serio aún.

System Prompt, Harmful Mode, Prompt Injection & Jailbreak

Se supone que ponemos protecciones y detecciones a los modelos de IA para que no puedan hacer nada "malo" o "que no queremos que haga", como si fueran nuestras Leyes de la Robótica, pero... sabemos que esas protecciones pueden ser saltadas con diferentes técnicas de Prompt Injection o Jailbreak, así que, como en la película, tenemos que ser un poco Will Smith y pensar que esas protecciones pueden fallar en un determinado momento. De estos ejemplos, hablé largo y tendido en la charla de "Hacker & Developer in the age of LLM Apps & Services"

Figura 4: Hacker & Developer in the Age of LLM Apps & Services

Botnets de Robots: La batalla de la inteligencia artificial o humana

En el caso anterior, donde tenemos ejemplos de Prompt Injection y Jailbreak, salta con total claridad la importancia de "quién es más inteligente". En muchos ejemplos, son trucos creados por un humano para, usando el poder de su inteligencia, engañar al modelo. Yo ponía el caso de hacerle creer que me estaba ayudando para un juego de rol, cuando realmente le estaba pidiendo ayudar para matar al presidente. de los Estados Unidos. Como ese, muchos otros ejemplos en los que se engaña, como cuando le haces un engaño a un niño en un juego.

Sin embargo, en otros procesos de Jailbreak, donde buscamos automatizar el proceso de saltarse las protecciones, utilizamos otros modelos de IA enlazados, coordinados entre sí, que buscan, entre todos, saltarse la protecciones de un modelo de IA concreto.

Esto quiere decir que con la orden de una sola Inteligencia Humana, se desencadena un proceso donde la Inteligencia Artificial va a saltarse las protecciones - es decir, las leyes de la robótica - de un modelo de IA objetivo, hasta que este hace lo que quieren los demás. Por supuesto, cuanto más potentes (más listos), son los modelos de IA que están ayudando al ataque y menos potente (menos listo), es el modelo IA objetivo, más fácil va a ser que se salten las protecciones y lo controlen para hacer lo que quieran.

Es decir, supongamos que tengo un modelo MM-LLM de gran capacidad dentro de un superordenador, y con este modelo quiero hacer el Jailbreak de todos los SLMs que hay en una empresa, y le doy solo esa orden, para conseguir enrolarlos en mi Command & Control y estar seguro de que los voy a poder utilizar a demanda cuando los necesite. En este caso, cuanto mayor se la potencia del modelo IA del atacante y menos potente la de los modelos IA objetivos, más fácil va a ser conseguir el jailbreak y tomar el control de esos modelos.

Figura 5: Cómo hackear un LLM haciendo Prompt Injection Automático con LLMs

De esto, hay un parte que es aún más débil, que son los objetivos con modelos de IA solo en el interfaz. Es decir, esos que no tienen un "cerebro" basado en un LLM/SLM/dLLM, sino que simplemente tienen servicios cognitivos para el reconocimiento de comandos en lenguaje natural, en. modo texto o en modo voz. En ese caso, el modelo de IA del atacante los puede controlar sencillamente, tal y como hicimos nosotros con el ejemplo de Chucky Alonso, el juguete malicioso que controlaba tu Alexa y tu Google Home simplemente clonando tu voz y dándole comandos a tus dispositivos Voice-Ready.

Figura 6: Chucky Alonso en Horizonte 05/10/23 con Iker Jiménez y Carmen Porter

Este ejemplo es la demostración que hicieron en una empresa de robots en Shanghai dónde un robot convence a otros robots para que abandonen sus puestos para dejar su puesto de trabajo. Esto, que es muy sorprendente tiene su explicación. El "líder" tiene dos características especiales, la primera es que tiene una orden de una Inteligencia Humana para conseguir ese objetivo, y luego tiene una Inteligencia Artificial más potente que la de los otros robots, es decir, o tiene la capacidad de vencerlos con ataques de Prompt Injection y técnicas de Jailbreak, o directamente los otros son "Dumb" Robots con interfaces humanos usando Cognitive Servcies que sólo siguen las órdenes que se les da.

Figura 7: Un Robot controlando a otros robots

Sabiendo esto, la verificación de identidad de quién te puede hablar o controlar cobra mucho sentido, para que un robot sólo atienda órdenes que venga de voces humanas. Por eso, nosotros hicimos en el trabajo para la presentación de "Are You Talkin' ta me?" en la que detectábamos con algoritmos de Machine Learning si una voz provenía de un altavoz o directamente desde una garganta humana.

Figura 8: Libro de Machine Learning aplicado a Ciberseguridad de
Carmen Torrano, Fran Ramírez, Paloma Recuero, José Torres y Santiago Hernández.

Por suerte para los humanos, por ahora, las ondas sonoras que generan las membranas de aun "speaker" son diferentes a las que genera una garganta humana. Así, la misma frase dicha por una voz humana, y por una voz clonada saliendo por un altavoz, pueden ser diferenciadas con modelos de Machine Learning, como el que tenéis aquí.

Figura 9: Detección de voces re-gragadas vs originales

Por supuesto, lo que queda claro es que si un atacante controla un robot con una poderosa IA, se le podría dar la orden de construir un ejercito de robots subordinados, y utilizando esta batalla de inteligencia, controlar una botnet de robot, o lo es lo mismo, un ejercito de los mismo. Sí, es otra película, pero llegaremos a ella en el siguiente post de esta serie.

Shadow AI

El problema principal se reduce en que estamos desplegando mucha IA por todos los rincones, y el control de la seguridad de la misma es fundamental. Ahora mismo nos encontramos con muchos dispositivos que vienen con modelos de IA para que puedan entender a los humanos fácilmente, al mismo tiempo que son capaces de hacer muchas cosas que antes no podían.

Pero claro, cuando vamos a esos dispositivos, la potencia de cómputo es un problema, así que nos encontramos habitualmente o Dump Robots, o SLMs, que pueden ser atacados por una IA más potente. Además, estamos haciendo justo algo que va en contra de la reglas de la fortificación de sistemas, y es añadir a estos dispositivos muchas más funciones que las que necesita para ejecutar su tarea.

Así, si ponemos un SLM a un accionador de SmartHome para que encienda las bombillas, también le hemos puesto todas las capacidades de razonamiento y respuesta que tiene un SLM. Si además tiene un micrófono para escuchar tus ordenes y un altavoz para dar las repuestas, estamos dando a un atacante la capacidad de convencer a ese SLM de que tiene que darle órdenes a otros dispositivos Voice-Ready, o simplemente que tiene que borrar los datos de su sistema, cambiar ficheros internos de su funcionamiento o cualquier otra capacidad que un atacante pueda sacar de la suma del dispositivo y su IA.

Para un atacante, llegar a una empresa y poder localizar todos los dispositivos que tienen modelos de IA basados en SLM/LLM/dLLM/MM-LLMS es como un campo de juegos. Es como tener la posibilidad de crear un botnet de agentes AI de ataque que puedan trabajar para él. Y a la suma de todos esos modelos de IA que están en dispositivos no controlados por el equipo de seguridad, IT, o de la empresa, es a lo que llamamos Shadow AI. Y es un problema que se está acrecentando día a día en el mundo empresarial.

Ciberseguridad en Shadow AI

Y todo esto nos lleva a nuestro trabajo. ¿Qué tenemos que hacer los que trabajamos en ciberseguridad? Pues preocuparnos mucho de esto. Por supuesto, ser capaz de descubrir modelos de IA en las empresas vulnerables a Prompt Injection o técnicas de Jailbreak conocidas es un fallo de seguridad que los informes de los pentesters deben recoger.

Auditarlos, comprobar las medidas de seguridad de quién puede darle comandos y qué puede hacer ese dispositivos con IA es fundamental. Pensar en nuevos modelos de ataque y nuevas superficies de exposición es fundamental. En el equipo de Ideas Locas llevamos un proyecto loco que tenía en la cabeza para poder descubrir y pintar las Hidden Networks basadas en dispositivos USB que se conectaban a los sistemas.

Ahora, en este nuevo mundo, una Roomba con un micrófono y un altavoz acaba de crear una nueva red oculta con cualquier otro dispositivo que tenga otro micrófono y altavoz en la empresa, por ejemplo, el Smart AI Aire Acondicionado, por ejemplo. Ese que han puesto tan moderno, que está conectado a la red, y reconoce tan bien el lenguaje natural porque tiene un SLM embebido.

Pero aún es peor, porque los dispositivos controlados por el atacante pueden querer que no los detecten y se comuniquen delante de los humanos sin que estos se den cuenta. Es decir, que los robots con IA controlados en una botnet acaben conspirando contra los humanos delante de tus narices sin que estos lo sepan... y esto hizo que explotara mi cabeza. Pero os lo cuento en el próximo artículo, que esté me ha quedado ya muy largo.. (cliffhanger!)

¡Saludos Malignos!

Autor: Chema Alonso (Contactar con Chema Alonso)