Цифровая экономика напрямую ассоциируется с ростом объемов данных в пространстве отдельных компаний и корпоративной автоматизации в целом, и это общеизвестный факт. Сегодня на основе эффективного использования данных можно решать проблемы, связанные не только с автоматизацией отдельных предприятий, но и целых отраслей, объединений бизнесов при организации совместных производств или цепочек поставок, а также альянсов, связывающих крупные коммерческие и государственные структуры в рамках решения глобальных задач государственного и муниципального управления.
Однако оформление ИТ-ресурса в некий самостоятельный объект интереса все-таки начало вызревать в эпоху, предшествующую цифровому бизнесу. С ростом количества информационных систем на площадке заказчика, когда появилась возможность взглянуть на их совокупность в целом, не рассматривая подробно отдельные компоненты ИТ-ландшафта, стало понятно, что многие задачи автоматизации можно и нужно решать, интегрируя функционал компонентов ИТ-поддержки бизнеса. Далее подтянулись облачные сервисы, и всё большую значимость начал приобретать термин «единое информационное пространство». Это привело еще к одному качественному изменению. У корпоративных данных появились собственная жизнь и собственная ценность, отчуждаемая от породивших их ИТ-продуктов. Акцент в корпоративной автоматизации стал смещаться от внедрения ИТ-систем к повышению качества данных. В своем единстве совокупный ИТ-ресурс чаще рассматривается как отдельный актив компании, которым необходимо грамотно управлять. Все это происходило эволюционно и к моменту активизации интереса к цифровой трансформации достигло некой зрелости. Это дало мощный толчок применению технологий массового сбора первичных данных и, как следствие, тому же совокупному ИТ-ресурсу.
Как развиваются эти тенденции, какие драйверы лежат в их основе и какие следствия они имеют уже сегодня, мы обсудили в рамках данного обзора.
Больше автоматизации — больше интереса к данным
Как мы только что отметили, существование корпоративного ресурса обусловлено ростом числа информационных систем в бизнесе, что в свою речь связано с возросшей зрелостью его автоматизации. Другим мощным стимулом роста объема ИТ-ресурса является возможность накапливать первичные данные со всевозможных датчиков. Можно сказать, что во многих отраслях это имело место и раньше, но именно сейчас, в преддверии массового развития цифровой экономики, становится все яснее фундаментальное значение этих тенденций. На основе детального сбора первичных данных теперь можно автоматизировать управление не только, скажем, цеховым оборудованием, но и целым предприятием, отраслью, а также глобальными межотраслевыми вопросами, прямо касающимися повседневной жизни людей.
«Ключевой причиной интереса к технологиям является всё большая автоматизация деятельности компании, увеличение количества данных и потребность в сквозных процессах между системами, — утверждает генеральный директор компании „Юнидата“ Сергей Кузнецов. — Повышение сложности аналитических задач и доступность аналитических инструментов добавляет интерес к тематике управления данными и повышения их качества. Речь идет не только об инструментах сбора и формирования отчетности и её анализа, но и о системах анализа больших данных».
«Все возрастающий интерес к системам управления основными данными наблюдается на ИТ-рынке последние несколько лет. Причина подобной ситуации комплексная — это и усложнение внутренних и внешних процессов компаний, и связанное с этим усложнение ИТ-ландшафта, и взрывной рост объемов данных. Но есть еще один важный аспект — ускорение самого бизнеса и его окружения», полагает Максим Кушнер, руководитель направления НСИ и интеграции компании Axelot.
Андрей Орлов, сертифицированный технический эксперт по большим данным и управлению информацией IBM в России и СНГ, также считает, что нужно серьезно заниматься обсуждаемой нами проблемой: «Интерес к системам управления данными появился несколько лет назад и постоянно растет. Многие компании, которые строили хранилища данных вместе с применением ETL-инструментов и BI-систем, в какой-то момент пришли к выводу, что без правильного процесса управления информацией невозможно иметь абсолютное доверие к данным. С появлением систем для анализа больших данных, в том числе работающих по принципу самообслуживания, управление данными становится критически важным процессом для каждой компании».
Ара Агузумцян, директор по консалтингу и поддержке «SAP СНГ», указывает на совокупность факторов: «Конкуренция на рынках во многих областях усилилась, компании должны принимать быстрые и взвешенные решения, что невозможно без аналитики высокого качества. Данные становятся активом, требуют новых подходов в работе и способны стать катализатором роста бизнес-возможностей и снижения издержек. Поэтому и вопросам эффективного управления данными сейчас уделяется столько внимания».
Свою точку зрения высказывает Александр Смирнов, руководитель практики Data Science «Teradata Россия»: «Повышение интереса к управлению данными действительно заметно, и оно в первую очередь объясняется ростом зрелости компаний в сфере работы с данными. Возможность правильно посмотреть на данные компании, видеть полную картину зачастую становится не просто конкурентным преимуществом, а едва ли не фактором выживаемости на рынке».
Рост интереса заказчиков к внедрению полноценного процесса управления данными, как полагает Ольга Трыкина, начальник управления бизнес-анализа департамента больших данных компании «Техносерв», связан с двумя основными причинами. «Сегодня большинство компаний понимает, что для поддержания конкурентоспособности и умения успевать за переменами необходимо чувствовать бизнес „на кончиках пальцев“, то есть видеть все ключевые показатели эффективности и понимать причины их изменения в режиме, близком к реальному времени», — говорит она. В качестве второй причины она называет понимание того, что данные также могут быть активом компании и приносить дополнительную ценность бизнесу. Кроме того, Ольга Трыкина высказала и еще один очень важный в сегодняшней ситуации, но еще не полностью осознанный в бизнесе тезис: выгоду компании может принести в том числе и продажа на внешний рынок. От себя добавим, что в кластере отраслей, ориентированных на взаимодействие с большим количеством клиентов (прежде всего в рознице, банковском секторе и телеком-индустрии) обмен данными на коммерческой основе становится все более широкой практикой.
Думается, что еще одним значимым, но не упомянутым нашими экспертами фактором, стимулирующим интерес к управлению данными, является заметная интенсификация регулирования бизнеса со стороны государства. По крайней мере о том, что здесь имеется прямая связь, много пишут в зарубежной прессе.
Бизнес-задача важнее всего
Пожалуй, уже сложившаяся логика рассуждения о любом направлении корпоративной автоматизации состоит в том, что сначала мы выясняем степень значимости этого направления для бизнеса, затем рассматриваем методические и организационные моменты, сопутствующие его практическому внедрению, и только после этого переходим к продуктам и технологиям. Рассуждая об управлении данными, не будем нарушать этой логики.
Ответ на вопрос о том, насколько управление корпоративными данными видится участникам рынка как бизнес-задача, можно получить, затронув несколько более конкретных практических вопросов. А именно — в какой степени проблему можно рассматривать как организационную, требуются ли в данном случае управленческий консалтинг, постановка специфических бизнес-процессов или обучение сотрудников.
«Юнидата» — один из лидеров рынка систем управления данными
Cергей Кузнецов, генеральный директор компании «Юнидата»:
— «Юнидата» — инновационная российская ИТ-компания, успешно работающая в области создания программного обеспечения. Ядро команды сформировалось в 2007 г. как R&D-команда различных стартап-компаний. В течение целого ряда лет специалисты компании занимались реализацией крупных проектов по внедрению решений класса MDM (Master Data Management, управление мастер-данными) и управлению качеством данных (Data Quality). Их работа получила множество положительных отзывов от известных аналитических агентств, таких как Gartner и Forrester. Среди клиентов «Юнидата» — АО «Российские космические системы», Объединенная приборостроительная корпорация, Министерство сельского хозяйства Российской Федерации, РЖД, «МегаФон».
Нашими специалистами накоплены не только технологические знания, опыт проектирования, разработки и контроля качества информационных системы, но и серьезная экспертиза по внедрению продукта на российском и зарубежном рынках.
Флагманским продуктом компании является многофункциональная платформа для построения систем управления корпоративными данными «Юнидата». Среди основных функций платформы — централизованный сбор данных, поиск и объединение дубликатов, анализ данных и формирование статистики, стандартизация и обеспечение качества данных, их выгрузка в сторонние информационные системы, управление данными на основании внутренних регламентов предприятия, предоставление прав на действие с данными. Продукт обладает широким спектром возможностей по управлению информацией для получения актуальных и достоверных данных и следует современным трендам Data Governance.
Весной 2017 г. в рамках выполненных работ по увеличению эффективности системы платформа достигла производительности в 1 млрд. записей. «Юнидата» стала одной из очень немногих компаний в мире, способной работать с таким массивом нормативно-справочной информации на неспециализированном аппаратном комплексе (commodity hardware). При разработке во главу угла был поставлен принцип «миллиард за миллион»: речь идет о миллиарде записей на серверах стоимостью всего 1 млн. руб. Надо отметить, что данный показатель ставит систему управления данными «Юнидата» в один ряд с лучшими
MDM-решениями в мире.СПЕЦПРОЕКТ КОМПАНИИ «ЮНИДАТА»
О том, что управление данными — в первую очередь организационная проблема, указывает Алексей Кислов, руководитель подразделения развития практик ERP фирмы «1С». «Важно обратить внимание на организацию процессов управления данными, определить центры ответственности за тот или иной класс данных, организовать централизованные процессы репликации и актуализации данных на операционном уровне. Зачастую это не простая задача, и быстрых побед здесь не бывает. Наша практика внедрений показывает, что здесь можно достичь целевых результатов в сжатые сроки, но при этом требуется активная поддержка высшего менеджмента», — пояснил он.
«Зачастую решение организационной проблемы сталкивается с бόльшими сложностями, чем внедрение новых программных продуктов, так как требует вовлечения и обучения большого количества сотрудников, изменения бизнес-процессов. При этом в самой организации может не быть понимания, как правильно справиться с этими сложностями», — отмечает Александр Тарасов, управляющий партнер компании DIS Group.
Александр Смирнов предлагает более точно, в количественных терминах, определить организационную составляющую в решении задачи управления данными: «Это на 75% организационная задача. Технологии, которая превратит кучу разрозненных данных в корпоративное хранилище, не существует. Если вы не будете следить за качеством данных, не будете управлять метаданными и т. д., то любой однажды наведенный порядок очень быстро превратится в хаос».
«По нашей статистике, в среднем 50% проекта внедрения системы управления основными данными — это методологические и организационные задачи», — также делает акцент на количественных показателях Максим Кушнер
«Задача управления данными напрямую затрагивает три основные области: людей, процессы и технологии, — отмечает Андрей Орлов. — Внедрение системы управления данными влечет за собой проект по проработке бизнес-процессов внутри компании, а не просто наполнение бизнес-словаря. Также необходимо выстроить правильные процедуры взаимодействия между людьми, научить их новому порядку и подходу работы с данными. Управление данными в первую очередь представляет культуру работы с информацией».
Еще на один важный аспект организационно-методической работы указывает Сергей Кузнецов: «Если говорить о комплексном внедрении управления данными, то следует особое внимание обратить на формирование центров компетенции по предметным областям».
Не удивительно, что все поставщики ИТ-решений и услуг в один голос стремятся подчеркнуть значение внешнего консалтинга в решении проблем заказчика. При этом в основном имеются в виду необходимость такого рода услуг, связанных с реорганизацией процессов или структурными изменениями в компании, хотя и технологические проблемы в этом контексте затрагиваются тоже. «Существуют вполне полнофункциональные решения, которые даже в комбинации друг с другом могут не покрыть потребности заказчика. Например, внедрив продукты Embarcadero, можно дополнить их решениями ARIS, но управления метаданными так и не получить. Поэтому привлекать опытных консультантов действительно необходимо», — утверждает Роман Баранов, руководитель направления аналитики компании КРОК.
Говоря о методологической основе, сразу надо отметить, что наиболее характерной чертой современного этапа дата-менеджмента является проникновение на российский рынок концепции Data Governance, призванной провести компанию через весь путь от получения сырых первичных данных к формированию целевого бизнес-результата. Среди известных методических областей, также направленных на работу с корпоративным ИТ-ресурсом как целым, назовём обеспечение качества данных (Data Quality), а также работу с метаданными (MetaData Management — MDM). В принципе они представляют собой часть концепции Dаta Governance, но на практике очень часто применяются вполне самостоятельно. Более понятна стратегия их внедрения еще и потому, что с ними, как правило, ассоциируются продукты соответствующего класса.
Важность всех этих методик подчеркивает Ара Агузумцян: «Data Governance достаточно широкая дисциплина, непосредственно влияющая и на MDM, и на Data Quality. Все эти инструменты позволяют сделать данные частью бизнес-процесса, что необходимо для развития тех направлений бизнеса, в которых клиентские данные имеют большое значение, — розничную торговлю, банковский и финансовый сектор».
Об этих же трех составляющих говорит и Сергей Кузнецов: «Управление мастер-данными и управление качеством данных cейчас востребованы. У Data Governance тренд востребованности находится в самом начале, и он восходящий. Многие компании, сознавая ценность данных в новой экономике, вводят должность Chief Data Officer». Отметим также, что оба эксперта явно упоминают еще об одном важном методическом документе, являющемся своего рода универсальным руководством в сфере управления корпоративными данными. Речь идет о получившем международное признание стандарте DMBoK (Data Management Body of Knowledge), который создан в определенном смысле по аналогии с более известным стандартом PMBoK, посвященным управлению проектами.
Говоря о методических вопросах, Александр Тарасов также признает значимость все тех же трех компонентов. По его словам, в настоящее время «...организации сталкиваются с некорректной отчетностью, дополнительными затратами при маркетинговых акциях, сложностями при коммуникации с клиентами. Справиться с этими проблемами как раз и призваны решения класса Data Quality, Master Data Management и Data Governance, востребованность которых в последнее время очень высока».
И опять-таки эти три наиболее важные методики озвучены и в комментариях Максима Кушнера: «Для достижения максимального эффекта рекомендуется учитывать все области управления данными: Master Data Management, Data Quality, Master Data Governance. Конечно, те или иные методики и подходы делают акцент на разные нюансы управления, но выбирать что-то одно не стоит — лучше использовать их в комплексе, на разных уровнях и масштабах управления».
Ольга Трыкина склонна разделять востребованность этих концепций в зависимости от бизнес-задач. По ее мнению, количество и разнообразие используемых в компании источников данных свидетельствует о востребованности Data Quality. Если компания работает непосредственно с конечным потребителем её услуг и продуктов, то сегодня ей трудно будет обойтись без
Интересную мысль высказывает Алексей Кислов: «Через несколько лет рынок
Всё ли решают кадры?
С развертыванием того или иного направления корпоративной автоматизации часто связана кадровая проблема, и в этом смысле менеджмент корпоративных данных не исключение. Ее тоже можно отнести к разряду методических. Новых должностных и ролевых структур, как руководящих, так и исполнительских, здесь появляется немало, а многие из них пока даже не имеют адекватного русскоязычного перевода. Так, в наших публикациях мы пока употребляем слова Data Scientists, дата-стюард (data-steward) и Chief Data Officer (CDO). А еще есть дата-архитекторы, дата-инженеры (data engineers), владельцы данных (data owners) и некоторые другие позиции. Впрочем, обо всех этих «экзотических» компетенциях, необходимых в ежедневной работе с данными, говорят сейчас довольно много. Реже затрагивают компетенции, связанные с внедрением технологий управления данными.
По мнению Андрея Орлова, можно выделить несколько ключевых компетенций, которые необходимы для системы управления корпоративными данными. Это понимание предметной области — как наиболее важная экспертиза, это способность разобраться в структурах потоков данных и взаимодействии различных систем внутри компании. Кроме того, по его словам, важно понимать, как устроены данные, имея в виду, что корпоративное хранилище данных (КХД) или, скажем, схемы мастер-данных должны опираться на концептуальную модель и на бизнес-понятия. И наконец, необходимо знание инструментов автоматизации.
Предельно конкретно по поводу ключевых компетенций высказывается Сергей Кузнецов: «Проекты по управлению мастер-данными и управлению качеством данных требуют трёх видов специфических квалификаций».
Первый вид — это квалификации в предметных областях, которые связаны с описанием справочников, реестров и классификаторов в системах. Чаще всего эту экспертизу привлекают со стороны заказчика из сотрудников, погруженных в предметные области. Они же выступают основными экспертами для всего проекта.
Второй тип — квалификации в методологии управления данными. Такая экспертиза чаще всего требуется на время проекта и привлекается со стороны подрядчика.
И третий тип — квалификация по качеству данных. Это также внешняя экспертиза, необходимая только на момент настройки системы.
Наряду с универсальными навыками определенную специфику компетенций специалистов, занимающихся вопросами управления корпоративными данными, видит и Алексей Кислов. «Помимо традиционных „общепроектных“ ролей в команде внедрения систем управления корпоративными данными необходимы специалисты, отвечающие за модели данных, а также разработчики ETL-процессов. Такие специалисты должны не только получить техническую подготовку в области хранения данных, но и понимать суть данных, которыми они оперируют, иметь представление о процессах их трансформации и четко видеть целевой результат», — считает он.
Ара Агузумцян, напротив, не склонен определять специфические компетенции при внедрении систем как необходимые: «Достаточно обычного ИТ-кругозора, плюсом будут навыки на стыке бизнеса и ИТ, а также опыт в эксплуатации хранилищ данных».
На общих компетенциях делает акцент и Роман Баранов. Он считает, что хотя подобные проекты должны доверяться исключительно опытным сотрудникам, тем не менее специфический опыт приложится уже во время работы. «Мы стараемся привлекать к одному проекту не менее трех опытных специалистов, которые при этом работают у нас в штате и прошли не один проект, — рассказал он. — Силами студентов и начинающих специалистов подобный проект не сделать».
Методологии нуждаются в ИТ-системах
Информационные продукты, которые связываются с управлением корпоративными данными, на сегодня можно считать вполне разнообразными, и вопрос выбора адекватной конфигурации ИТ-систем для целей дата-менеджмента в принципе является одним из наиболее важных. Следует, наверное, начать с того, что продуктовый фундамент в виде прежде всего корпоративных хранилищ данных на российском рынке был заложен уже давно. Далее по мере того, как нарастала функциональная специфика задач менеджмента данных, некими производными продуктов DataWarehouse становились витрины данных (Data Marts). Когда же в бизнесе наряду с классическими транзакционными все более значимую роль начали играть неструктурированные данные, свое место в решении обсуждаемых нами задач заняли системы управления контентом (Content Management Systems — CMS). Наконец, задачи сегодняшнего дня, которые очень часто предполагают формирование единого поля всех типов данных с возможностью их обработки в режиме реального времени, привели к появлению таких категорий продуктов, как Enterprise Search или Data Lakes.
«Для построения высококачественной работы с данными на уровне корпорации необходимо в первую очередь корпоративное хранилище, которое станет центральным звеном, сердцем всей экосистемы. При этом на настоящий момент на рынке наблюдается ренессанс интереса к КХД, которые на какое-то время уходили в тень, уступая фокус внимания таким вещам, как озера данных, хорошо дополняющие, но никак не заменяющие и не отменяющие классических КХД. Кроме этого вокруг КХД должна быть выстроена целая экосистема и в первую очередь ETL-система, которая будет обеспечивать высококачественную загрузку данных из различных имеющихся в корпорации источников. Ну и конечно же по мере взросления всей этой инфраструктуры очень быстро возникает необходимость в системах управления метаданными и мастер-данными, а также в инструментах Data Quality», — говорит Александр Смирнов, имея в виду не только разнообразие информационных продуктов, но и изменение потребности в них во времени. По сути об этом же, или, если точнее, о трансформации потребностей в зависимости от ситуации в бизнесе и от особенностей рынка предложения говорит и Роман Баранов: «Всё, что касается корпоративного поиска и управления контентом, — новое веяние в аналитике, которое будет формироваться еще два-три года. Поэтому давать какие-то прогнозы рано. Однако в каждый нынешний проект нужно внедрять управление метаданными».
Андрей Орлов по сути высказывает ту же мысль — о важности корпоративного хранилища как центрального элемента архитектуры управления данными и о том, что вокруг него необходимо выстроить некое продуктовое окружение: «Говоря о российском рынке, можно заметить, что в большинстве компаний уже есть функционирующее хранилище данных и какой-то ETL-инструмент. Основной интерес сейчас вызывают и пользуются востребованностью инструменты для обеспечения качества данных и управления метаданными. Построение бизнес-словаря с возможностью привязки к реальным информационным объектам, полная цепочка происхождения данных, а также создание политики и правил управления предметной областью и реализация их в инструменте профилирования и проверок источников данных в рамках единой платформы — вот то, на что сейчас обращают внимание и что спрашивают наши заказчики».
«Состав и профиль использования продуктов, связанных с управлением данными, напрямую определяется масштабом и сложностью поддерживаемых процессов, — говорит Максим Кушнер. — Чтобы закрыть весь перечень задач, необходим программный комплекс, который способен решать следующие ключевые задачи: хранение данных (DW/DM), обработка и предоставление данных (MDM), управление контентом и портальные представления (CMS), извлечение и транспорт больших массивов данных (ETL), обеспечение интеграции в режиме реального времени (ESB). Тенденция последнего времени — автоматизация процедур валидации и обработки данных».
Опять-таки весьма конкретно формулирует свою точку зрения Сергей Кузнецов: «Управление мастер-данными — основополагающий элемент этой архитектуры наравне с шиной данных (ESB) либо альтернативным „транспортом данных“, например ETL. Управление качеством данных (DQ) способствует увеличению ценности внедрения MDM». Что касается хранилищ и витрин данных, то, по его словам, они используются по большей части для формирования регламентированной и нерегламентированной отчетности, а в последнее время эту нишу начинают расширять классы систем Data Lake и Data Mining.
Вначале бывает проект
Процессы управления корпоративными данными, внедренные в компании, наверное, будут существовать всегда и при этом, разумеется, постоянно совершенствоваться. Однако любые первоначальные инициативы обязательно имеют проектную основу. В связи с этим возникают типичные для проектного подхода вопросы: из каких специалистов формируется состав проектной команды, кто является ключевыми стейкхолдерами проекта, каковы основные показатели успешности его выполнения? Давая здесь свои комментарии, эксперты по сути еще раз подчеркивают мысль о том, что при внедрении процессов и технологий управления данными мы имеем дело с бизнес-проектом.
«Так как внедрение управления данными подразумевает организационные изменения, то для успеха проекта ключевым стейкхолдером должен быть либо один из вице-президентов, либо непосредственно генеральный директор компании. И роль этого человека не заканчивается только спонсированием работ. Он должен выступать и медиатором в случае конфликта интересов», — утверждает Ольга Трыкина.
Андрей Орлов говорит о целесообразности поэтапного внедрения рассматриваемой нами технологии: «Один из ключевых факторов состоит в том, что не стоит пытаться сразу внедрить технологию управления данными в масштабе всей компании. Из-за попытки одновременного подключения всех департаментов большинство инициатив терпят неудачу. Лучше начать с одного департамента, провести „пилот“ и внедрить необходимые бизнес-процессы, а уже потом добавлять департамент за департаментом». Разбиение крупного проекта на компоненты, соответствующие отдельным функциональным направлениям работы компании, как раз весьма характерно для бизнес-проектов.
Общее мнение экспертов по поводу состава проектной команды и всех категорий сотрудников, вовлекаемых в проект, таково: состав этот должен быть широким и включать в себя сотрудников, которые на стороне корпоративного заказчика пока еще встречаются не в каждой компании. «Внедрение правильной работы с данными требует значительного числа специалистов: архитекторы, методологи, бизнес-аналитики, разработчики ETL, администраторы, — говорит Александр Смирнов. — В большинстве случаев компании не практикуют внедрение хранилища только собственными силами, а приглашают консультантов».
По мнению Максима Кушнера, «команда должна содержать в своем составе соответствующих специалистов — экспертов, методологов, архитекторов данных — которые могут описать предметную область и построить, а также организовать правильную базу под технологические инструменты».
«Чаще всего проект реализуется в несколько этапов с разделением по предметным областям. Особенностью проекта внедрения является большая роль методологического обеспечения и работы с накопленными ранее данными. Кроме специалистов по внедрению и консультантов в проектную команду входят методологи и специалисты по качеству данных, их роль является определяющей в успехе проекта», — утверждает Сергей Кузнецов.
