AMD выпустила Gaia: открытый софт для запуска больших языковых моделей на ПК

В последнее время большие языковые модели (они же LLM) пользуются огромной популярностью и применяются буквально везде — в смартфонах, автомобилях, центрах обработки данных и не только. И, что немаловажно, энтузиасты всё чаще хотят запускать такие модели локально на своём компьютере, а не использовать решения, работающие в облаке. В компании AMD решили с этим помочь, выпустив приложение под названием Gaia — это проект с открытым исходным кодом, который предоставляет возможность удобно запускать большие языковые модели локально на компьютере под управлением операционной системы Windows. Для вывода ответов искусственного интеллекта софт задействует Lemonade SDK от компании ONNX TurnkeyML, а работает Gaia посредством агента Retrieval-Augmented Generation (или RAG). Именно этот компонент объединяет большую языковую модель с базой данных, предоставляя пользователю приложения интерактивный опыт взаимодействия с ИИ с довольно точными и контекстно-зависимыми ответами. На текущий момент компонент RAG может похвастаться четырьмя продвинутыми агентами, выполняющими различные задачи. Например, Simple Prompt Completion позволяет напрямую взаимодействовать с LLM, предоставляя возможность тестировать и оценивать модель. Ещё есть агент Chaty — элемент чат-бота, который взаимодействует с пользователем софта. Агент Clip предоставляет доступ к поиску по видеохостингу YouTube с функцией вопросов и ответов, а Joker умеет генерировать шутки, добавляя чат-боту юмористическую индивидуальность. Авторы проекта рассказали, что их решение позволяет адаптировать большие языковые модели не только для более или менее простых задач вроде составления краткого содержания больших объёмов текста, но и для более сложных сценариев, требующих рассуждений. Кроме того, Gaia, по словам разработчиков, функционирует в роли ИИ-агента, извлекая, обрабатывая и векторизируя контент, улучшая запросы пользователей ещё до того, как их обработает LLM. Примечательно, что AMD предоставляет дополнительную оптимизацию выполнения рабочих задач с ИИ на компьютерах, которые работают на базе Ryzen AI — для этих систем даже выпустили отдельный установщик. Однако запустить приложение можно и на компьютере с любым другим процессором — даже если его выпустила не AMD, а Intel. При этом все действия будут выполняться локально на ПК в автономном режиме — приложение подключения к интернету не требует.

Мар 22, 2025 - 14:52

В последнее время большие языковые модели (они же LLM) пользуются огромной популярностью и применяются буквально везде — в смартфонах, автомобилях, центрах обработки данных и не только. И, что немаловажно, энтузиасты всё чаще хотят запускать такие модели локально на своём компьютере, а не использовать решения, работающие в облаке. В компании AMD решили с этим помочь, выпустив приложение под названием Gaia — это проект с открытым исходным кодом, который предоставляет возможность удобно запускать большие языковые модели локально на компьютере под управлением операционной системы Windows.

Для вывода ответов искусственного интеллекта софт задействует Lemonade SDK от компании ONNX TurnkeyML, а работает Gaia посредством агента Retrieval-Augmented Generation (или RAG). Именно этот компонент объединяет большую языковую модель с базой данных, предоставляя пользователю приложения интерактивный опыт взаимодействия с ИИ с довольно точными и контекстно-зависимыми ответами. На текущий момент компонент RAG может похвастаться четырьмя продвинутыми агентами, выполняющими различные задачи. Например, Simple Prompt Completion позволяет напрямую взаимодействовать с LLM, предоставляя возможность тестировать и оценивать модель.

Ещё есть агент Chaty — элемент чат-бота, который взаимодействует с пользователем софта. Агент Clip предоставляет доступ к поиску по видеохостингу YouTube с функцией вопросов и ответов, а Joker умеет генерировать шутки, добавляя чат-боту юмористическую индивидуальность. Авторы проекта рассказали, что их решение позволяет адаптировать большие языковые модели не только для более или менее простых задач вроде составления краткого содержания больших объёмов текста, но и для более сложных сценариев, требующих рассуждений. Кроме того, Gaia, по словам разработчиков, функционирует в роли ИИ-агента, извлекая, обрабатывая и векторизируя контент, улучшая запросы пользователей ещё до того, как их обработает LLM.

Примечательно, что AMD предоставляет дополнительную оптимизацию выполнения рабочих задач с ИИ на компьютерах, которые работают на базе Ryzen AI — для этих систем даже выпустили отдельный установщик. Однако запустить приложение можно и на компьютере с любым другим процессором — даже если его выпустила не AMD, а Intel. При этом все действия будут выполняться локально на ПК в автономном режиме — приложение подключения к интернету не требует.