KI testet Algorithmus zum verlässlichen Unterbinden von „KI-Jailbreaks“

Anthropic hat ein neues Sicherheitssystem für sein Sprachmodell Claude entwickelt, das sogenannte Jailbreaks erschweren soll. Mit Constitutional Classifiers filtert das System problematische Anfragen, um zu verhindern, dass Claude unerwünschte Inhalte generiert. In 95 Prozent der getesteten Fälle zeigte sich das System erfolgreich – bietet bei der Implementierung aber auch Nachteile.

Anthropic hat ein neues Sicherheitssystem für sein Sprachmodell Claude entwickelt, das sogenannte Jailbreaks erschweren soll. Mit Constitutional Classifiers filtert das System problematische Anfragen, um zu verhindern, dass Claude unerwünschte Inhalte generiert. In 95 Prozent der getesteten Fälle zeigte sich das System erfolgreich – bietet bei der Implementierung aber auch Nachteile.

Ähnliche Beiträge

KI-Modelle schützen

Mär 6, 2025  0

Active Undelete kann verlorene Daten wiederherstellen

Feb 27, 2025  0

Welche gefährlichen Schwachstellen lauern bei Video-Calls?

Mär 19, 2025  0