«Казнить нельзя помиловать»: запятые и точки влияют на точность работы ИИ

Ученые установили, что элементы языка, которые часто воспринимаются как малозначимые — знаки препинания и артикли — на самом деле играют важную роль в понимании искусственными интеллектом текстов. Анализ показал: именно в этих «незаметных» деталях содержится критически важная информация для корректной интерпретации контекста.

Специалисты разработали методику, которая позволяет отслеживать, какие данные сохраняются в связке с конкретными токенами. Это минимальные элементы текста, на которых основана работа языковых моделей. Первый эксперимент заключался в обучении модели восстанавливать исходный текст по последовательности токенов, включая знаки препинания и стоп-слова. Неожиданно оказалось, что именно стоп-слова, обычно считающиеся неинформативными, несли наибольшую нагрузку для понимания контекста.

Затем исследователи провели дополнительные тесты на стандартных наборах задач MMLU и BABILong. Из текстов намеренно удалялись «малозначимые», с точки зрения логики, элементы. Чтобы уточнить, что можно убрать без потери смысла для человека, ученые задали этот вопрос языковым моделям — включая ChatGPT.

Результаты подтвердили гипотезу: при исключении из формулировок даже, казалось бы, несущественных символов, точность выполнения задач снижалась — в некоторых случаях до 20%.

Изучение принципов действия языковых моделей – одна из главных задач нашей научной группы. Мы работаем над этим уже два года. Глубокое понимание того, как модели принимают решения, поможет сделать их не только эффективнее, но и безопаснее.Антон Разжигаев, руководитель группы «Интерпретируемый ИИ» лаборатории FusionBrain Института AIRI

Исследователи опубликовали код для анализа работы языковых моделей по ссылке.

Читать далее:

Ученые в тупике: «Уэбб» засек невозможный свет в галактике

Вселенная внутри черной дыры: наблюдения «Уэбба» подтверждают странную гипотезу

Миллионы «невидимых» людей: ученые нашли ошибку в оценке населения Земли

_{На обложке: Изображение от jcomp на Freepik, сведения о лицензии}

The post «Казнить нельзя помиловать»: запятые и точки влияют на точность работы ИИ appeared first on Хайтек.