Meta: Cómo saber qué tecleas midiendo los campos magnéticos y eléctricos de tu cerebro
Aún hay mucho que desconocemos del cerebro de los seres humanos, pero las líneas de investigación cada día son más y con resultados más espectaculares. Hace cinco años le dediqué un artículo al tema de las "Robo-Ratas", donde el objetivo era conseguir el control del libre albedrío de una rata mediante manipulación de señales eléctricas en el cerebro. El artículo completo lo tenéis aquí: "La felicidad como forma de seguridad siendo una robot rata". Al final, nuestro cerebro es un hervidero de conexiones que generan campos eléctricos y magnéticos que pueden ser medidos, y también inyectados.Figura 1: Meta - Cómo saber qué tecleas midiendo loscampos magnéticos y eléctricos de tu cerebroSabiendo que cuando nuestro cerebro toma una decisión, por ejemplo pulsar un botón con la mano derecha o con la mano izquierda, se generan dos señales eléctricas diferentes, es posible entonces saber un poco antes de que esto suceda, qué decisión física va a tomar una persona. El objetivo en el experimento de las robo-ratas era justo el contrario, influir en la decisión con una generación de actividad en la zona cerebral correcta. Figura 2: Robo RatasCon la llegada de la Inteligencia Artificial, es posible entrenar modelos más complejos que ya no sean binarios, como es de "izquierda o derecha" en el ejemplo que os he descrito al principio, y se pueden hacer cosas más complejas y sorprendentes. Una de ellas, y que es una línea de investigación clara, es saber en qué estas pensando, o qué estas viendo. En este caso, utilizando imágenes de resonancia magnética funcional (fMRI) se intenta reconstruir la imagen de lo que está viendo una persona. Básicamente se le enseñan muchas imágenes a una persona, y se graban las fMRI cerebrales asociadas a los momentos en que se le enseñaron las imágenes.Figura 3: "High-resolution image reconstruction withlatent diffusion models from human brain activity"Después, se le enseña una imagen similar (o no) a las que se usan para entrenar el modelo, y se captura la imagen fMRI de su cerebro. Con esos datos se lanza un utilizando un Modelo de Difusión que usa los datos de la fMRI para generar una imagen resultante, y sorprendentemente se aproxima a lo que está viendo. El proceso completo lo tienes en el artículo de "Cómo reconstruir las imágenes en tu cabeza por medio de tu actividad cerebral y Stable Diffusion"Brain-to-TextEl artículo del que quiero hablaros hoy es de los investigadores de Meta, que el mes pasado publicaron un estudio donde utilizando mediciones de los campos magnéticos cerebrales con la tecnología de Basque Center on Cognition, Brain and Language, que permite capturar datos de Magneto Encephalo Graphy (MEG) además de capturar los campos eléctricos con Electro Encephalo Graphy (EEG) para entrenar una red neuronal convolucional.Figura 4: Brain-to-Text DecodingLa magia es, que si para reconstruir lo que estás viendo se pueden utilizar los Modelos de Difusión, para reconstruir lo que estas escribiendo se pueden utilizar los modelos de lenguaje, es decir, los Transformers para afinar el modelo, y los LLMs para construir una salida de resultados mucho más ajustados.Figura 5: Explicación de Brain-to-Text DecodingDe esta forma, primero se entrena el modelo con personas a las que se les pide que tecleen una palabra que sale por pantalla. En ese momento, se capturan los datos MEG y los EEG, y se entrena el modelo, llamado Brain2Qwerty, usando la Red Neuronal Convolucional y los Transformers, para generar un Modelo de Lenguaje que es el que será encargado de la predicción. Figura 6: Arquitectura de Brain2QwertyAsí, una vez terminado el entrenamiento, se le entregan como datos de entrada al modelo de lenguaje las secuencias temporales de los MEG y EEG, y el LLM responde con la predicción de lo que está escribiendo el sujeto del que se están recibiendo lo datos por pantalla. Figura 7: Proceso de Training y DecodingComo resultado, podéis ver que se consiguen predicciones bastante correctas, y acertadas - aunque no sean perfectas -, ya que hay impacto en los entrenamientos con los errores, con los tipos de personas, y con el tipo de palabras, pero desde luego suficientes como para que en breve tengamos resultados más que correctos que pudieran conectar el cerebro humano a los sistemas informativos mediante estas mediciones MEG y EEG que no intrusivas, ni requieren cirugía.Figura 8: Resultados Experimentales de Brain2QwertyAl mismo tiempo, como os podéis imaginar, esto nos va a llevar en el futuro a modelos de lenguaje entrenados tan perfectamente que sabrán lo que estamos tecleando con mediciones remotas de tecnología, es decir, como si fuera un ataque TEMPEST al uso, del que va a ser difícil protegerse. No sé si ir a poner papel de aluminio a mi gorro ya....Pero también abre otras lineas de investigación para enfermedades cerebrales y personas con dificultades en la comunicación, que tal vez dejarán de ser una barrera en el futuro, y gracias a estos avances puedan comunicarse de manera fluida,
Aún hay mucho que desconocemos del cerebro de los seres humanos, pero las líneas de investigación cada día son más y con resultados más espectaculares. Hace cinco años le dediqué un artículo al tema de las "Robo-Ratas", donde el objetivo era conseguir el control del libre albedrío de una rata mediante manipulación de señales eléctricas en el cerebro. El artículo completo lo tenéis aquí: "La felicidad como forma de seguridad siendo una robot rata". Al final, nuestro cerebro es un hervidero de conexiones que generan campos eléctricos y magnéticos que pueden ser medidos, y también inyectados.
Sabiendo que cuando nuestro cerebro toma una decisión, por ejemplo pulsar un botón con la mano derecha o con la mano izquierda, se generan dos señales eléctricas diferentes, es posible entonces saber un poco antes de que esto suceda, qué decisión física va a tomar una persona. El objetivo en el experimento de las robo-ratas era justo el contrario, influir en la decisión con una generación de actividad en la zona cerebral correcta.
Figura 2: Robo Ratas
Con la llegada de la Inteligencia Artificial, es posible entrenar modelos más complejos que ya no sean binarios, como es de "izquierda o derecha" en el ejemplo que os he descrito al principio, y se pueden hacer cosas más complejas y sorprendentes. Una de ellas, y que es una línea de investigación clara, es saber en qué estas pensando, o qué estas viendo. En este caso, utilizando imágenes de resonancia magnética funcional (fMRI) se intenta reconstruir la imagen de lo que está viendo una persona. Básicamente se le enseñan muchas imágenes a una persona, y se graban las fMRI cerebrales asociadas a los momentos en que se le enseñaron las imágenes.
Después, se le enseña una imagen similar (o no) a las que se usan para entrenar el modelo, y se captura la imagen fMRI de su cerebro. Con esos datos se lanza un utilizando un Modelo de Difusión que usa los datos de la fMRI para generar una imagen resultante, y sorprendentemente se aproxima a lo que está viendo. El proceso completo lo tienes en el artículo de "Cómo reconstruir las imágenes en tu cabeza por medio de tu actividad cerebral y Stable Diffusion"
Brain-to-Text
El artículo del que quiero hablaros hoy es de los investigadores de Meta, que el mes pasado publicaron un estudio donde utilizando mediciones de los campos magnéticos cerebrales con la tecnología de Basque Center on Cognition, Brain and Language, que permite capturar datos de Magneto Encephalo Graphy (MEG) además de capturar los campos eléctricos con Electro Encephalo Graphy (EEG) para entrenar una red neuronal convolucional.
La magia es, que si para reconstruir lo que estás viendo se pueden utilizar los Modelos de Difusión, para reconstruir lo que estas escribiendo se pueden utilizar los modelos de lenguaje, es decir, los Transformers para afinar el modelo, y los LLMs para construir una salida de resultados mucho más ajustados.
De esta forma, primero se entrena el modelo con personas a las que se les pide que tecleen una palabra que sale por pantalla. En ese momento, se capturan los datos MEG y los EEG, y se entrena el modelo, llamado Brain2Qwerty, usando la Red Neuronal Convolucional y los Transformers, para generar un Modelo de Lenguaje que es el que será encargado de la predicción.
Así, una vez terminado el entrenamiento, se le entregan como datos de entrada al modelo de lenguaje las secuencias temporales de los MEG y EEG, y el LLM responde con la predicción de lo que está escribiendo el sujeto del que se están recibiendo lo datos por pantalla.
Como resultado, podéis ver que se consiguen predicciones bastante correctas, y acertadas - aunque no sean perfectas -, ya que hay impacto en los entrenamientos con los errores, con los tipos de personas, y con el tipo de palabras, pero desde luego suficientes como para que en breve tengamos resultados más que correctos que pudieran conectar el cerebro humano a los sistemas informativos mediante estas mediciones MEG y EEG que no intrusivas, ni requieren cirugía.
Al mismo tiempo, como os podéis imaginar, esto nos va a llevar en el futuro a modelos de lenguaje entrenados tan perfectamente que sabrán lo que estamos tecleando con mediciones remotas de tecnología, es decir, como si fuera un ataque TEMPEST al uso, del que va a ser difícil protegerse. No sé si ir a poner papel de aluminio a mi gorro ya....
Pero también abre otras lineas de investigación para enfermedades cerebrales y personas con dificultades en la comunicación, que tal vez dejarán de ser una barrera en el futuro, y gracias a estos avances puedan comunicarse de manera fluida, más sencilla, o al menos de forma útil con el entorno. Quién sabe el mundo al que iremos.
¡Saludos Malignos!
Autor: Chema Alonso (Contactar con Chema Alonso)
