Сбер: разработка российских математиков ускорит оптимизацию работы систем ИИ

В пресс-службе компании заявили, что "метод может быть использован в некоторых случаях при дообучении больших языковых моделей"

МОСКВА, 21 марта. /ТАСС/. Исследователи из России разработали новый алгоритм итеративной оптимизации, который ускорит тонкую подстройку гиперпараметров в системах искусственного интеллекта (ИИ) и значительно уменьшит число шагов, необходимых для оптимизации работы этих ИИ-моделей. Об этом сообщила пресс-служба Сбера.

"С помощью такого подхода можно оптимизировать двухэтапные процедуры, когда на первом этапе обучается нейронная сеть для извлечения численных представлений данных, которые обеспечивают максимальную точность классификации на втором этапе. Кроме того, метод может быть использован в некоторых случаях при дообучении больших языковых моделей", - говорится в сообщении.

Данный подход был разработан группой исследователей из Лаборатории искусственного интеллекта Сбербанка, МФТИ и Университета Иннополис под руководством научного сотрудника МФТИ Александра Безносикова. Он представляет собой инновационный подход, позволяющий решать задачи оптимизации, когда у исследователей отсутствует доступ к точной формуле для расчета результата и приходится оценивать его приближенно.

С подобными ситуациями, как отмечают авторы алгоритма, ученые нередко сталкиваются при разработке и дообучении систем искусственного интеллекта. Существующие методы оптимизации математических функций, такие как алгоритм Франк-Вульфа, далеко не всегда позволяют решить их, что побудило российских исследователей создать свой собственный, более универсальный и быстродействующий подход.

Последующие проверки работы этого подхода, получившего имя JAGUAR, показали, что он позволяет тонко подстраивать модели машинного обучения за меньшее число шагов, чем уже существующие подходы, а также эффективно работает в ситуациях, когда расчет сопровождается случайными ошибками. Он значительно превзошел в качестве работы уже доступные аналоги, присутствующие в открытом доступе на рынке, что говорит о высокой перспективности данного алгоритма.