La insólita demanda contra OpenAI de un padre algún día será película: ChatGPT está convencido de que ha matado a sus hijos
A finales de 2024 se produjo una de esas denuncias que parecía más propia de una distopía que de la realidad. La madre de un menor de 14 años presentaba una denuncia inédita contra la plataforma de chatbots Character.AI. La razón: la implicación de los algoritmos en el suicidio del pequeño. Una nueva demanda insólita acaba de surgir. Un algoritmo ha acusado a un padre de matar a sus hijos. Difamación algorítmica. Arve Hjalmar Holmen, un ciudadano noruego, ha denunciado públicamente a OpenAI después de descubrir que ChatGPT lo había acusado falsamente de haber asesinado a dos de sus hijos e intentado matar a un tercero. La denuncia, respaldada por la organización europea de derechos digitales Noyb, sostiene que el modelo no solo inventó una historia completamente ficticia, sino que la entrelazó con datos personales reales (el número de hijos, su género o el lugar de residencia), lo que agrava la violación a su privacidad y reputación. La queja, presentada ante la autoridad de protección de datos de Noruega, se basa en una supuesta infracción del Reglamento General de Protección de Datos (GDPR) de la Unión Europea, al impedir al afectado corregir o eliminar esa información, como exige la normativa. En Espinof El empresario mexicano que pasó de fundar Bodega Aurrerá a ganar un Óscar no sólo hizo historia, incluso cambió las reglas de la Academia Alucinaciones. Aunque OpenAI actualizó el sistema para que ya no repita la afirmación difamatoria, la historia ficticia sigue formando parte del modelo subyacente, ya que OpenAI ha admitido que no tiene la capacidad de modificar directamente la información interna, sino que solo puede filtrar las salidas o bloquear ciertas respuestas. Por su parte, Noyb insiste en que esta limitación técnica no exime a la empresa de cumplir con la ley: la mera existencia de datos falsos internamente, aunque no se compartan externamente, también está sujeta al cumplimiento del GDPR. Para Holmen, la mayor preocupación es que otras personas hayan accedido a la información falsa antes de que fuera bloqueada y hayan creído en ella. “Algunos piensan que no hay humo sin fuego”, expresó, temiendo que su reputación quede permanentemente manchada. Pantallazo de la conversación de Hollmen con el algoritmo Un patrón de errores. El caso de Holmen, como decíamos al inicio, no es único. Desde el lanzamiento de ChatGPT en 2022, se han registrado varios casos similares en los que el modelo ha vinculado a personas reales con delitos ficticios. Un alcalde australiano fue falsamente acusado de haber ido a prisión, un profesor de derecho fue señalado como protagonista de un escándalo sexual inexistente, y un locutor de radio demandó a OpenAI por una historia inventada de malversación. También le ha pasado a Apple o a Google con sus IAs. Estos ejemplos ilustran una problemática más amplia: la facilidad con la que los sistemas de IA generativa pueden producir narrativas difamatorias, incluso cuando se les aplica un sistema de filtros o advertencias. Noyb advierte que colocar “disclaimers” no es una solución legal válida. “Añadir una advertencia de que no cumples la ley no hace que la ley desaparezca”, declaró la abogada Kleanthi Sardeli. En Espinof Ni Goku, ni Vegeta, ni Broly. Akira Toriyama ya confirmó hace diez años quiénes son los personajes más poderosos de todo 'Dragon Ball' Responsabilidad y exigencias legales. La denuncia en Noruega es la segunda que Noyb presenta contra OpenAI. La primera fue en Austria, y ambas forman parte de un escrutinio creciente de las autoridades europeas hacia las empresas de inteligencia artificial. Tras los primeros indicios de fallos reputacionales por parte de ChatGPT, la Junta Europea de Protección de Datos creó en 2023 un grupo de trabajo para investigar el cumplimiento del GDPR por parte de estos modelos. En al menos un país, Italia, OpenAI ya se ha enfrentado a consecuencias: una multa de 16 millones de dólares y la imposición de cambios estructurales tras una filtración de conversaciones y datos de usuarios. Entre las medidas exigidas entonces estaba la creación de una herramienta para permitir que los usuarios corrigieran sus datos si eran malinterpretados o procesados incorrectamente. Las implicaciones de un error. Una de las preocupaciones más complejas en este caso es material suficiente para un capítulo de Black Mirror: que las falsedades generadas puedan haber sido reutilizadas para seguir entrenando el modelo, lo que haría prácticamente imposible eliminar su rastro del sistema. Noyb advierte que, sin un mecanismo efectivo para auditar o limpiar la información en los modelos entrenados, las víctimas no tienen garantías de que las falsedades se hayan erradicado por completo. La única solución posible en esos casos sería un reentrenamie
A finales de 2024 se produjo una de esas denuncias que parecía más propia de una distopía que de la realidad. La madre de un menor de 14 años presentaba una denuncia inédita contra la plataforma de chatbots Character.AI. La razón: la implicación de los algoritmos en el suicidio del pequeño. Una nueva demanda insólita acaba de surgir. Un algoritmo ha acusado a un padre de matar a sus hijos.
Difamación algorítmica. Arve Hjalmar Holmen, un ciudadano noruego, ha denunciado públicamente a OpenAI después de descubrir que ChatGPT lo había acusado falsamente de haber asesinado a dos de sus hijos e intentado matar a un tercero. La denuncia, respaldada por la organización europea de derechos digitales Noyb, sostiene que el modelo no solo inventó una historia completamente ficticia, sino que la entrelazó con datos personales reales (el número de hijos, su género o el lugar de residencia), lo que agrava la violación a su privacidad y reputación.
La queja, presentada ante la autoridad de protección de datos de Noruega, se basa en una supuesta infracción del Reglamento General de Protección de Datos (GDPR) de la Unión Europea, al impedir al afectado corregir o eliminar esa información, como exige la normativa.
Alucinaciones. Aunque OpenAI actualizó el sistema para que ya no repita la afirmación difamatoria, la historia ficticia sigue formando parte del modelo subyacente, ya que OpenAI ha admitido que no tiene la capacidad de modificar directamente la información interna, sino que solo puede filtrar las salidas o bloquear ciertas respuestas.
Por su parte, Noyb insiste en que esta limitación técnica no exime a la empresa de cumplir con la ley: la mera existencia de datos falsos internamente, aunque no se compartan externamente, también está sujeta al cumplimiento del GDPR. Para Holmen, la mayor preocupación es que otras personas hayan accedido a la información falsa antes de que fuera bloqueada y hayan creído en ella. “Algunos piensan que no hay humo sin fuego”, expresó, temiendo que su reputación quede permanentemente manchada.
Pantallazo de la conversación de Hollmen con el algoritmo
Un patrón de errores. El caso de Holmen, como decíamos al inicio, no es único. Desde el lanzamiento de ChatGPT en 2022, se han registrado varios casos similares en los que el modelo ha vinculado a personas reales con delitos ficticios. Un alcalde australiano fue falsamente acusado de haber ido a prisión, un profesor de derecho fue señalado como protagonista de un escándalo sexual inexistente, y un locutor de radio demandó a OpenAI por una historia inventada de malversación. También le ha pasado a Apple o a Google con sus IAs.
Estos ejemplos ilustran una problemática más amplia: la facilidad con la que los sistemas de IA generativa pueden producir narrativas difamatorias, incluso cuando se les aplica un sistema de filtros o advertencias. Noyb advierte que colocar “disclaimers” no es una solución legal válida. “Añadir una advertencia de que no cumples la ley no hace que la ley desaparezca”, declaró la abogada Kleanthi Sardeli.
Responsabilidad y exigencias legales. La denuncia en Noruega es la segunda que Noyb presenta contra OpenAI. La primera fue en Austria, y ambas forman parte de un escrutinio creciente de las autoridades europeas hacia las empresas de inteligencia artificial. Tras los primeros indicios de fallos reputacionales por parte de ChatGPT, la Junta Europea de Protección de Datos creó en 2023 un grupo de trabajo para investigar el cumplimiento del GDPR por parte de estos modelos.
En al menos un país, Italia, OpenAI ya se ha enfrentado a consecuencias: una multa de 16 millones de dólares y la imposición de cambios estructurales tras una filtración de conversaciones y datos de usuarios. Entre las medidas exigidas entonces estaba la creación de una herramienta para permitir que los usuarios corrigieran sus datos si eran malinterpretados o procesados incorrectamente.
Las implicaciones de un error. Una de las preocupaciones más complejas en este caso es material suficiente para un capítulo de Black Mirror: que las falsedades generadas puedan haber sido reutilizadas para seguir entrenando el modelo, lo que haría prácticamente imposible eliminar su rastro del sistema.
Noyb advierte que, sin un mecanismo efectivo para auditar o limpiar la información en los modelos entrenados, las víctimas no tienen garantías de que las falsedades se hayan erradicado por completo. La única solución posible en esos casos sería un reentrenamiento completo del modelo, una operación costosa y técnicamente compleja que OpenAI podría verse obligada a implementar si las autoridades determinan que no ha cumplido con sus obligaciones bajo el GDPR.
El futuro. Qué duda cabe, el caso de Holmen pone en evidencia los riesgos inherentes a los sistemas de IA generativa en cuanto a la integridad de la información personal y la protección de la reputación individual. A medida que estas tecnologías ganan popularidad y se integran en ámbitos cotidianos, se vuelve indispensable establecer mecanismos robustos de supervisión, transparencia y corrección.
La idea de que un modelo pueda inventar (o alentar) un crimen y vincularlo a una persona real sin consecuencias legales claras es una amenaza directa a los principios de justicia y protección de datos. Noyb exige que OpenAI no solo elimine completamente la afirmación difamatoria, sino que ajuste su modelo para evitar que se produzcan resultados similares en el futuro, e incluso que se le imponga una sanción administrativa ejemplar para prevenir futuras infracciones.
De fondo: en la medida en que los modelos de IA se convierten en fuentes de información para millones de personas, su precisión y responsabilidad legal ya no pueden ni deben ser opcionales.
Imagen | Wikimedia
En Xataka Móvil | De profesor a policía para "cazar" trabajos hechos con ChatGPT. La IA ha cambiado las reglas de la educación
En Xataka Móvil | Elon Musk quiere hacerse con el control de OpenAI y ChatGPT. Ha hecho una oferta mareante y Sam Altman le ha respondido
-
La noticia
La insólita demanda contra OpenAI de un padre algún día será película: ChatGPT está convencido de que ha matado a sus hijos
fue publicada originalmente en
Xataka Móvil
por
Miguel Jorge
.
