Директор Департамента систем управления данными БФТ-Холдинга Максим Зацепин рассказал о подходах к управлению НСИ
Данные как ключевой актив компании
Эффективное централизованное управление данными сегодня становится приоритетной целью любой организации: не случайно российский национальный проект по цифровой трансформации «Цифровая экономика» сегодня органично переходит в проект «Экономика данных и цифровая трансформация государства», а в бизнес-сообществе набирает популярность подход Data-Driven.
БФТ-Холдинг определяет управление данными как комплекс мер, процессов и технологий по сбору, организации хранения и доступа к данным для повышения производительности, эффективности в принятии решений. В результате последовательного внедрения этих мер данные становятся ключевым активом компании и позволяют добиться следующих результатов:
- сокращения времени на операционную деятельность, ускорения выполнения бизнес-функций;
- повышения гибкости текущей деятельности компании;
- обретения новых возможностей в бизнесе;
- полноценного обеспечения цифровой трансформации и оптимизации бизнес-процессов;
- более простого и оперативного формирования аналитики и отчетности;
- своевременного и качественного исполнения требований регуляторных органов.
Нормативно-справочная информация (НСИ) или мастер-данные — это данные, лежащие в основе всех бизнес-процессов организации: упорядоченные, эталонные сведения об активах компании, ее структуре, сотрудниках, клиентах, продуктах и услугах, используемых технологиях и т.д. Они необходимы для того, чтобы различные подразделения организации могли вести деятельность единообразно: например, использовать в документах и всех корпоративных информационных системах одни и те же названия и формулировки, оперировать одной и той же справочной информацией. Поэтому ядром системы управления всем объемом данных организации является управление НСИ (MDM, Master Data Management).
Особенности и состав MDM-платформы
Чтобы данные превратились в ценный актив компании, необходимо научиться качественно обрабатывать данные: собирать, упорядочивать, обогащать, дедуплицировать, классифицировать, обеспечивать требуемое качество данных, формируя мастер-данные. Автоматизировать все эти процессы и обеспечить реализацию проектов, связанных с управлением данными, помогают MDM-платформы или платформы управления мастер-данными. Такие платформы должны решать следующие задачи:
- управление входящими данными (описание объектов и связей между ними, настройку сценариев загрузки, функции преобразования данных);
- обработку данных (трансформацию, изменение данных, дедупликацию);
- улучшение качества данных (AI-сервис, настройку правил валидации, маппингов, стандартизацию и нормализацию, отчетность состояния данных);
- формирование мастер-данных (опорных реестров, справочников, классификаторов, «золотых» записей, справочников материально-технических ресурсов и продукции, контрагентов и т.д.), обеспечение их историчности и версионности.
Также MDM-платформа должна гибко настраиваться под бизнес-процессы заказчика. Например, одной из ее основных функций должно быть проведение заявок на изменение данных, позволяющее обеспечить согласованность и, при необходимости, юридическую значимость изменений мастер-данных. Кроме классического процесса согласования с участием инициатора и эксперта НСИ, должна предоставляться возможность настроить более сложные процессы (с помощью BPM-движка), задействуя широкий круг согласующих в зависимости от особенностей набора данных, который необходимо согласовать.
Источники для формирования мастер-данных
Для ведения собственной НСИ организации необходимы инструменты формирования модели данных объекта НСИ — набора атрибутов и описания правил проверки данных. У специалистов должна быть возможность как вводить данные НСИ вручную через пользовательский интерфейс, так и загружать из доступных и проверенных источников.
МДМ-платформа для управления нормативно-справочной информацией должна уметь взаимодействовать с широким спектром поставщиков данных, среди которых:
- Росстат, Единый портал бюджетной системы (ЕПБС): общероссийские классификаторы;
- информационные системы ФНС (ЕГРЮЛ/ЕГРИП, ГАР);
- информационные системы Центробанка РФ (БИК, курсы валют);
- другие внешние источники данных;
- внутренние источники данных организации (корпоративные информационные системы).
Благодаря большому опыту взаимодействия специалистов БФТ-Холдинга с федеральными источниками данных мы предлагаем использовать мастер-данные, за качество которых отвечает государство, как «опорные» объекты НСИ для ведения собственных данных организации. Опорные объекты НСИ могут применяться как непосредственно в рамках систем — потребителей НСИ, так и для формирования собственных наборов данных организации путем обогащения и расширения опорных объектов специфическим атрибутным составом, характерным для тех или иных бизнес-процессов организации.
Также MDM-платформа может интегрироваться с большим количеством внешних и внутренних источников, консолидируя данные из них, поддерживая их единообразие, обеспечивая таким образом расширение количества и сохранение качества мастер-данных. Консолидация данных может проходить как в автоматизированном, так и в ручном режиме при участии эксперта НСИ.
Реальное повышение эффективности: опыт заказчиков
Проектная практика БФТ-Холдинга включает в себя внедрение сложных решений в крупных организациях, в том числе на объектах критической информационной инфраструктуры. Проекты осуществляются как силами внутренних команд, так и с помощью партнерской сети.
Например, одного из крупных клиентов мы перевели на централизованный справочник контрагентов, избавив организацию от дубликатов, устаревшей информации и некорректных данных. В качестве опорных данных в системе заказчика теперь используются федеральные реестры, что позволяет лучше автоматизировать и стандартизировать ведение справочника контрагентов. Карточка контрагента заполняется автоматически при вводе его ключевых реквизитов (ИНН, КПП). В целом около 40% изменений в справочнике осуществляется автоматически без участия оператора НСИ.
Внедрение централизованной MDM-системы в рамках одного из проектов обеспечило ведение справочников и классификаторов для единой информационной системы, публикацию и предоставление широкому кругу пользователей версий справочников и классификаторов на портале для внешних пользователей НСИ. В системе сегодня ведется около 2000 справочников и классификаторов, общее количество записей в них составляет около 500 млн. Портал для внешних пользователей НСИ предоставляет возможность одновременной работы с НСИ около 20 тысяч пользователей.
В рамках другого проекта реализована подсистема НСИ для единой цифровой платформы. Сегодня она поддерживает ведение около 1300 справочников и классификаторов и справляется с нагрузкой при использовании данных НСИ в режиме онлайн до 16 тысяч запросов в секунду.
Советы по повышению эффективности управления НСИ
Под эффективностью управления НСИ мы понимаем сокращение временных и ресурсных затрат на обеспечение качества данных и непосредственно всех процессов ведения НСИ. Для достижения максимального результата мы рекомендуем придерживаться следующих правил.
Первое — обязательное наличие службы ведения НСИ. Только при таком способе организации управления НСИ появляются и корректно исполняются необходимые регламенты с требуемым SLA по внесению изменений и обеспечению качества данных.
Второе — регламентация процессов ведения НСИ. Одной из сложнейших задач внедрения НСИ является процесс проведения изменений, который сложно организовать без наличия должной регламентации. Поэтому регламентация, по нашему опыту, важна не только службе ведения НСИ, но и бизнес-заказчикам НСИ, которые инициируют процедуры изменения данных, и тем структурам и подразделениям организации, которые являются потребителями данных.
Третье — использование MDM-системы, обеспечивающей исполнение регламентов ведения НСИ, гибко трансформируемой при изменении регламентов и предоставляющей настраиваемые инструменты, оптимизирующие ведение НСИ:
- загрузка данных извне и обогащение на основании опорных реестров;
- обработка и преобразование данных;
- структурирование и классификация данных;
- консолидация данных по преднастроенным алгоритмам;
- обеспечение качества данных;
- гибкие процессы согласования изменений мастер-данных и выстраивание маршрутов согласования (с использованием BPM-движка).
Необходимость внедрения MDM-платформы — это логичный этап «цифрового взросления» любой организации. Грамотный подход к управлению потоками корпоративной информации и выбор качественной системы класса MDM — залог успеха проекта по цифровой трансформации и перехода к принятию решений на основе непротиворечивых и качественных данных.