hi-tech.mail.ru

Как сверхинтеллект уничтожит мир: новые гипотезы

Исследователи во главе с Google DeepMind выпустили технический документ, где впервые детально описали, как AGI может нанести «серьезный вред» человечеству уже к 2030 году. Пока интернет наполняется шумом вокруг нейросетей, ученые уже смотрят на шаг вперед. DeepMind выпустила масштабное исследование о рисках общего искусственного интеллекта (AGI) — технологии с человеческими способностями. В отличие от выдуманных «Трех законов робототехники» Айзека Азимова, реальность требует более сложных подходов к безопасности. Команда DeepMind разработала технический документ, где выделила четыре категории рисков AGI: неправильное использование, несогласованность целей, ошибки и структурные риски. Четыре всадника цифрового апокалипсиса Первая категория — неправильное использование. Похожа на проблемы современного ИИ, но с гораздо более серьезными последствиями. Злоумышленники с доступом к AGI смогут заставить систему находить уязвимости нулевого дня или создавать биологическое оружие. DeepMind подчеркивает, что компаниям придется проводить масштабное тестирование и создавать надежные протоколы безопасности после обучения систем. По сути, это будут усиленные версии современных ограничителей ИИ. Также предлагается разработать метод полного подавления опасных возможностей, иногда называемый «разобучением», хотя неясно, возможно ли это без существенного ограничения моделей.

Апр 4, 2025 - 16:27

Как сверхинтеллект уничтожит мир: новые гипотезы

Исследователи во главе с Google DeepMind выпустили технический документ, где впервые детально описали, как AGI может нанести «серьезный вред» человечеству уже к 2030 году.

Пока интернет наполняется шумом вокруг нейросетей, ученые уже смотрят на шаг вперед. DeepMind выпустила масштабное исследование о рисках общего искусственного интеллекта (AGI) — технологии с человеческими способностями.

В отличие от выдуманных «Трех законов робототехники» Айзека Азимова, реальность требует более сложных подходов к безопасности. Команда DeepMind разработала технический документ, где выделила четыре категории рисков AGI: неправильное использование, несогласованность целей, ошибки и структурные риски.

Четыре всадника цифрового апокалипсиса

Первая категория — неправильное использование. Похожа на проблемы современного ИИ, но с гораздо более серьезными последствиями. Злоумышленники с доступом к AGI смогут заставить систему находить уязвимости нулевого дня или создавать биологическое оружие.

DeepMind подчеркивает, что компаниям придется проводить масштабное тестирование и создавать надежные протоколы безопасности после обучения систем. По сути, это будут усиленные версии современных ограничителей ИИ. Также предлагается разработать метод полного подавления опасных возможностей, иногда называемый «разобучением», хотя неясно, возможно ли это без существенного ограничения моделей.