Искусственный интеллект МТС заговорил на татарском языке

МТС, цифровая экосистема, представила разработанную MTS AI новую версию большой языковой модели Cotype Lite для работы с текстами на татарском языке. Она получила название Rehmet, что в переводе означает «спасибо».
MTS AI, один из ведущих центров компетенций по искусственному интеллекту в России, показал новую версию своей большой языковой модели Cotype на форуме Kazan Digital Week. Она способна обрабатывать документы объёмом в пять листов A4, извлекать и суммаризировать данные за несколько секунд.
Cotype Rehmet может использоваться в архивах, библиотеках, в государственных и частных организациях — везде, где есть потребность в обработке информации и анализе документов на татарском. Например, с помощью большой языковой модели можно ускорить обработку заявлений в государственные органы. Cotype извлечёт ключевую информацию, такую как тематика запроса, местоположение и личные данные заявителя, и передаст их в соответствующую базу данных. Как и другие модели семейства Cotype, эта версия может устанавливаться в контуре организации, что позволяет исключить утечки информации.
«Создавая большую языковую модель на татарском, разработчики MTS AI преследовали несколько целей. Одна из них — мы хотели поддержать многообразие языков, существующих в России, помочь им развиваться и быть востребованными в цифровую эпоху. Обработка информации на языках народов России нетривиальная, но также важная составляющая работы», — сказал исполнительный директор MTS AI Дмитрий Марков.
Чтобы модель Cotype Rehmet смогла понимать незнакомый язык, разработчики собрали датасет и перевели его с русского на татарский. После все данные и ответы модели проверили специалисты-тюркологи и носители языка.
По словам разработчиков, Cotype Rehmet входит в число лучших LLM в своем классе: она содержит восемь миллиардов параметров. При необходимости MTS AI может создать LLM на татарском с большим количеством параметров — до 70 миллиардов параметров, а также большим контекстным окном до 32 тысяч токенов, — чтобы модель умела выполнять такие задачи как перевод и генерация длинных текстов. Также компания MTS AI готова адаптировать модели семейства Cotype для других региональных языков России.
«МТС часто работает с разными направлениями, гибко подходя к выполнению проектов, чтобы сделать их эффективными. Этот проект показал, что мы умеем адаптировать наши модели под любые научные и бизнес-задачи», — рассказал директор МТС в Рязанской области Александр Ляк.