В последние годы стремительное развитие технологий искусственного интеллекта (ИИ) уже мало кого удивляет, но темпы прогресса больших языковых моделей (LLM) просто поражают.
В своих статьях я уже неоднократно рассказывал об американских и китайских LLM. В частности, о лидерах отрасли ChatGPT от OpenAl (Microsoft), Clode от Anthropic и Tongyi Qianwen 2.0 (Alibaba Cloud).
Конкуренцию вышеуказанным моделям создают Llama и позднее ее обновленная программа Vicuna (Meta*), а также Grok-1 от X (ранее — Twitter). У Google выходят модели PALM-2 и Gemini.
Первыми большими языковыми моделями были BERT (Google) и GPT (OpenAl, Microsoft). Обе программы обучались на большом количестве данных, при этом BERT имела 340 млн параметров, а GPT, в свою очередь, — 120 млн параметров.
Конечно, стоит отметить, что отрасль не обделена огромными инвестициями: например, в Clode (Anthropic) только компания Amazon вложила в 2023 году порядка $4 млрд.
Но если у первых языковых моделей были миллионы параметров, то современные обладают уже сотнями миллиардов и даже триллионами параметров.
Так, прогресс программ, последовавших за GPT от OpenAl, улучшал предыдущую модель на порядок, а то и больше. Сравните: GPT-2 имела 1,5 млрд параметров, GPT-3 — 175 млрд, а GPT-4 — уже 1,76 трлн (!) параметров.
В России развитие языковых моделей имеет определенные успехи. Наиболее заметные из них — это YandexGPT от Яндекса и GigaChat от Сбера.
У YandexGPT уже появилась программа-последователь YandexGPT-2 с порядка 100 млрд параметров, поддерживающая русский язык. Сбер увеличил параметры своей модели GigaChat с 13 до 29 млрд.
Любопытно, что, после того как Google переобучила свою модель BERT на более продвинутую T-5, а затем Flan-T5, Сбер то же самое смог сделать со своей русскоязычной версией ruT5, усовершенствовав ее до FRED-T5.
Параметров в ней пока значительно меньше — «всего» 1,5 млрд. Тем не менее это не помешало Сберу заявить, что, несмотря на больший размер многих моделей-конкурентов, FRED-T5 стала лучшей в мире по пониманию текстов на русском языке (SberDevices).
Это стало известно по результатам тестов главного русскоязычного бенчмарка для оценки больших текстовых моделей Russian SuperGLUE.
А недавно команда Сбера SberDevices представила модель GigaAM, способную распознавать не только русскую речь, но и четыре эмоции: злость, грусть, нейтральное состояние или счастье.
Вычислительные мощности нейронных сетей современных продвинутых программ становятся сопоставимыми с человеческими.
По разным оценкам, мозг человека обладает от 86 млрд до 100 млрд нейронов, и у каждого из них еще около 7000–10 000 связей.
Как полагают некоторые эксперты, на которых ссылается издание Хабр, искусственный общий интеллект (AGI) появится уже в ближайшие годы.
AGI, по их мнению, сможет выполнять не хуже или даже лучше человека широкий спектр когнитивных задач.
* Компания признана экстремистской, и ее деятельность запрещена в России.