Компания «Мегапьютер» разработала кластерную систему PolyAnalyst GRID, которая позволяет проводить анализ больших данных, включающих миллиарды записей и миллионы текстовых документов, ускоряя процесс обработки в 4 раза. Отечественная разработка является передовой в своей отрасли, способна демонстрировать показатели точности и полноты, превышающие 90% в задачах обработки текстовых данных на русском языке, а также сравнимые показатели для английского и еще 14 мировых языков.
Продукт импортозамещает целый ряд иностранного ПО. Ближайшими конкурентными аналогами системы являются SAS Viya (США), IBM Watson (США) и Alteryx (США).
ИТ-решение обладает широкими возможностями и применимо во всех секторах бизнеса, включая FMCG-ретейл, медицину и фармацевтику, финансы, консалтинг, энергетику и производство. Целевые внедрения предполагаются в крупнейших коммерческих и государственных корпорациях, проводящих активную политику цифровой трансформации бизнеса, а также организациях государственного сектора, испытывающих потребность в высокопроизводительных аналитических инструментах в соответствии с федеральным проектом «Цифровое государственное управление».
Доработка платформы стала возможна благодаря грантовой поддержке Российского фонда развития информационных технологий (РФРИТ). Сумма гранта составила 93 млн рублей. Общая стоимость проекта – 186,8 млн рублей.
«Благодаря поддержке РФРИТ нам удалось сократить сроки разработки и вывода продукта на рынок до заявленных 18 месяцев. Широкий спектр функциональных направлений делает доработанную систему PolyAnalyst GRID вариантом для импортозамещения целого ряда иностранных программных продуктов, покинувших отечественный рынок. Платформа способна покрыть большой набор функциональных задач, выставляемых в организациях в рамках процедур цифровой трансформации. Эти направления являются критически первостепенными в отрасли информационных технологий России. Доработка проекта в рамках грантового финансирования успешно завершена, но мы продолжаем работу над развитием платформы и наполнением ее новым функционалом», – отметил руководитель направления PolyAnalyst GRID компании «Мегапьютер» Вячеслав Панюсько.
На грант Фонда к работе над проектом были привлечены высококвалифицированные специалисты из множества областей: программисты, математики, лингвисты-аналитики, тестировщики и технические писатели, которые разработали свыше трех десятков функциональных модулей и адаптировали систему к работе на отечественных программных и аппаратных компонентах, в том числе ОС Astra Linux.
Архитектура доработанной программы позволяет распределять хранение данных и их обработку между десятками вычислительных серверов. Это дает возможность с высокой скоростью сотням пользователей анализировать данные в тысячу терабайт, а также гарантирует исключительный уровень отказоустойчивости системы.
Решения, созданные на базе платформы, могут за секунды анализировать весь массив структурированных данных и неструктурированных текстовых документов и автоматически вносить извлеченную информацию в CRM/ERP систему для дальнейшей проработки. Традиционная разработка «с нуля» может занять от полугода, а PolyAnalyst GRID ускоряет процесс до несколько часов или дней.
Платформа способна загружать информацию из любых источников с одновременной загрузкой десятков тысяч файлов популярных форматов, разнообразных баз данных, архивов электронной почты. Графический интерфейс и отсутствие необходимости программировать позволяет работать с системой специалистам без наличия профессиональных навыков аналитики больших данных или программирования, таким как юристы, финансисты, маркетологи или аудиторы.
ПО уже используется инспекторами по стратегическому и комплексному аудиту Счетной Палаты РФ.
«Сегодня в Счетной палате эта система является базовым инструментом для анализа всех типов данных и построения результирующей визуальной отчетности. Благодаря интуитивному графическому low-code интерфейсу PolyAnalyst позволил сотрудникам государственного ведомства самостоятельно, без затрат дорогостоящего труда профессиональных программистов разрабатывать аналитические решения с применением алгоритмов интеллектуальной обработки данных и естественного языка для обработки десятков тысяч документов, организовывать коллективную работу над проектами, готовить графические интерактивные дашборды и прочую отчетность для руководства Счетной палаты. Внедрение системы PolyAnalyst позволило решить ряд задач, в том числе сократить время сбора данных из множества разнообразных распределенных информационных систем, упростить процедуру унификации форматов представления данных, устранить необходимость привлечения дополнительных специалистов для предварительной подготовки и очистки больших объемов данных, снизить количество ошибок в результатах анализа, сократить затраты на интеграцию и поддержку множества разнородных информационных систем, повысить точность и глубину анализа данных. Сейчас в ведомстве проводят тестирование следующего поколения системы PolyAnalyst GRID, которая имеет аналогичный функционал, но позволяет на порядок повысить скоростью и эффективность обработки сверхбольших данных объемом в сотни терабайт, что является крайне актуальной задачей для Счетной палаты России», – подчеркнул директор Департамента цифровой трансформации Счетной палаты Российской Федерации Михаил Петров.