Мастерское управление данными

Владимир Михалев, старший инженер MDM/Data Quality Центра программных решений компании «Инфосистемы Джет»

Все чаще среди ИТ-специалистов и бизнес-пользователей информационных систем звучит аббревиатура MDM (Master Data Management). Как и всякий популярный термин, MDM перегружен, в разных контекстах ему приписывается различный смысл. В этой статье мы планируем снять часть возникающих в этой связи неоднозначностей и дать практическую интерпретацию соответствующих определений и понятий.

История вопроса

В условиях жесткой конкуренции компаниям приходится искать пути сокращения затрат, роста эффективности, повышения качества своих продуктов и услуг. Зачастую решение этих задач связано с применением информационных технологий. В итоге возникает уже знакомая картина — в компании эксплуатируется большое число разнородных программ и информационных систем (ИС). Управлять информацией, расположенной во множестве источников, — дело трудозатратное и дорогое.

Те компании, которые стремились к минимизации расходов и повышению доходов, приняли на вооружение системы электронного обмена данными. Эти решения позволяют экономить деньги за счет перенаправления информационных потоков, раньше требовавших создания огромного числа бумажных документов, факсов, взаимодействия большого числа людей, организации многочисленных встреч. В итоге сегодня формирование системы обмена данными между разными программами является одной из ключевых задач любого бизнеса.

На этом пути дополнительной проблемой становится потребность в управлении базовыми справочными данными, т.е. теми данными, которые существуют в компании во множестве копий, содержащих подчас не совпадающую и противоречивую информацию. При этом они должны быть одинаковыми. В разных учетных системах справочные данные вводятся, классифицируются и кодируются по-разному. Отметим, что наличие несинхронизированных копий одной и той же информации приводит к проблемам производственного и информационного взаимодействия.

Что такое MDM?

Перечисленные выше проблемы вызвали к жизни целый набор технологий, стандартов и продуктов, предназначенных для управления основными, или мастер-данными и объединенных под общим названием MDM. Часто мастер-данные называют нормативно-справочной информацией (НСИ) или эталонными данными. Типичные их примеры — справочники поставщиков, клиентов, классификаторы материалов, оборудования, общероссийские классификаторы (ОКСМ, ОКВЭД, ОКАТО и т.д.), то есть всё то, что не претерпевает существенных изменений в процессе повседневной деятельности компаний и является информацией нетранзакционного характера. Разные типы мастер-данных принято называть доменами, например, домен «клиенты», домен «продукты» и т.д.

Цели MDM заключаются в обеспечении процессов формирования мастер-данных (сбора данных из внешних источников, повышения их качества за счет очистки и обогащения, поиска и объединения дубликатов и т.д.), а также их дистрибуции для дальнейшего использования в других ИС.

В силу своих особенностей часто выделяют 2 предметные области, автоматизируемые с помощью MDM-систем: данные о продуктах (Product Information Management, PIM) и клиентах (Customer Data Integration, CDI). Однако это вовсе не означает, что MDM-решения не пригодны для других видов данных, т.е. для других доменов. Так, системы CDI могут быть использованы для управления реестрами сотрудников, населения. У компаний-разработчиков MDM-решений, кроме указанных типов, есть системы, ориентированные на финансовый сектор, сектор высшего образования.

Предпосылки и модели использования

Как уже было сказано, одной из предпосылок для внедрения MDM-системы является необходимость в обобщении информации из большого числа источников. Причины этого — географическая распределенность подразделений компании и применение в филиалах разнотипного программного обеспечения. Такая ситуация характерна, например, для банков и страховых компаний. Они отличаются обширной филиальной сетью, множеством территориальных отделений и офисов продаж. Есть множество примеров, когда в разных филиалах одного банка используются автоматизированные банковские системы (АБС) от разных компаний-разработчиков. Кроме того, у обслуживания юридических лиц (корпоративный сектор) и физических лиц есть своя специфика. Поэтому в одном отделении банка могут быть установлены два типа АБС для обслуживания разных категорий клиентов. Похожая ситуация и со страховыми компаниями. Здесь разнообразие программ может быть обусловлено не только категорией клиентов, но и типом страхования (жизни, транспортных средств и т.д.).

Одна из часто возникающих задач, характерных для подобных компаний, — это формирование единого клиентского справочника (CDI). С помощью MDM можно создать хранилище, которое будет содержать полные, достоверные и непротиворечивые клиентские данные. Информация, поступающая из внешних учетных систем, в MDM-системе пройдет проверку, очистку, обогащение, будет приведена к единой форме, а также избавится от дубликатов. Таким образом, создается «золотая» запись, которая позволяет сформировать единый взгляд на клиента и является предпосылкой для перехода к клиентоориентированной модели бизнеса. Эти эталонные данные используются в системах анализа и принятия решений. Они востребованы маркетингом, продающими подразделениями и отделами, осуществляющими финансовый мониторинг. Подобный способ использования MDM — это консолидация (Consolidation) (см. рис. 1). Он ориентирован на создание центральной системы мастер-данных, консолидирующей данные источников для поддержки аналитических и отчетных приложений.

Рис.1. Организация консолидированных данных

Второй тип задач, которые могут быть решены с помощью MDM, — это создание единой платформы для централизованного ведения нормативно-справочной информации. Соответствующая система управления НСИ призвана обслуживать всех участников внутренних бизнес-процессов компании, а иногда и целых отраслей, нуждающихся в выверенной и актуальной справочной информации. Одним из типичных примеров здесь является справочник материально-технических ресурсов (PMI). Такие MDM-системы востребованы компаниями розничной торговли и дистрибуции, поставщиками потребительских товаров и бытовой электроники. Качественная информация о продукции помогает стимулировать продажи, повышать эффективность маркетинговых кампаний, а также оптимизировать цепочки поставок и каналы сбыта. Такую схему MDM принято называть транзакционной (Transaction). Иногда применяют термин «репозитарий» — (Repository) (см.рис. 2).

Рис.2. Организация централизованной схемы ведения справочной информации

Следующий вариант применения MDM частично схож с организацией консолидированных данных. Здесь также происходит создание данных во внешних учетных ИС, они также передаются в MDM-систему, где формируется «золотая» запись. Отличия заключаются в том, что присутствует обратная связь с учетными системами и происходит синхронизация мастер-данных со справочными данными этих ИС, что, в свою очередь, напоминает транзакционную схему реализации MDM. Внешние учетные системы в этом случае являются как источниками, так и потребителями данных.

Например, в организации есть несколько разнотипных ИС, предназначенных для учета движения товарно-материльных ценностей. В одной из таких систем в рабочий справочник вводится новая товарная номенклатура. На следующем шаге она передается в эталонный справочник товарных номенклатур, реализованный с помощью MDM-системы. В автоматическом режиме по заранее настроенным правилам для нее осуществляется поиск соответствующей эталонной номенклатуры. Если найти таковую не удалось, специалист по НСИ с помощью пользовательского интерфейса MDM-системы делает это вручную или, если номенклатура является новой, подтверждает новую запись в эталонном справочнике. Благодаря обратной связи в рабочий справочник внешней системы из MDM возвращается информация о номенклатуре с дополнительными атрибутами из эталонного справочника и ссылкой на эталонную номенклатуру. Это позволяет использовать рабочий справочник в оперативной работе во внешней системе и при необходимости, например, формировать отчеты в разрезе кодов эталонного номенклатурного справочника. Такую схему MDM принято называть комбинированной (Co-existence, или Hybrid) (см. рис. 3).

Рис.3. Организация схемы синхронизации справочной информации

Выделяют еще один вид MDM — это реестр (Registry). При данном подходе в хранилище мастер-данных реальные данные не хранятся. Задачи MDM в таком случае — быстрое выявление схожих записей во многих системах и источниках и их связывание. Это дает возможность в реальном времени и в центральной точке получать данные из источников по перекрестным ссылкам.

Следует отметить, что внедрение MDM-решений в компаниях приводит к некоторому отделению справочных данных от прикладных приложений. Это, в свою очередь, побуждает создавать специальные подразделения по НСИ, основными функциями которых являются контроль и управление качеством основных данных. В ряде случаев проекты внедрения MDM-систем выгодно отличаются по показателям стоимости, эффективности и продолжительности от проектов реорганизации основных учетных ИС компании, таких как ERP, АБС и т.д. Иногда внедрение MDM-решения планируется как логичное развитие этих учетных систем.

Кто они — производители MDM-решений?

На рынке MDM-решений есть много игроков. Предлагаемые ими системы могут решать все описанные выше задачи. На рис. 4 и 5 знаменитые квадраты Gartner фиксируют позиции производителей PIM- и CDI-решений.

Рис.4. Позиции производителей PIM-решений

Компания IBM является одним из лидеров рынка MDM-решений. InfoSphere Master Data Management Server (MDM Server) — это решение вендора для управления информацией о клиентах, ориентированное на оперативное применение и бизнес-аналитику. В свою очередь, MDM Server for PIM предназначено для управления сложными и множественными иерархическими представлениями информации о продукции. Современное название этого решения — InfoSphere MDM Collaboration Server. Программные продукты для управления НСИ являются частью полномасштабной платформы по управлению корпоративной информацией IBM InfoSphere.

Рис.5 Позиции производителей CDI-решений

Компания Oracle является крупным игроком в области MDM, у вендора существует множество специализированных решений. Oracle Customer Data Hub (CDH) является первым приложением в семействе специализированных хранилищ основных данных, разрабатываемых компанией Oracle. Продукт подходит для управления реестрами клиентов, сотрудников, населения и пр. Отметим, что Oracle CDH постепенно замещается другим MDM-продуктом Oracle — Siebel UCM. В 2007 г. компания Oracle приобрела Hyperion — известного производителя BI-решений. В числе продуктов Hyperion, продолживших свое развитие под флагом Oracle, — Hyperion Data Relationship Management (DRM). Он предназначен для управления НСИ с ориентацией на финансовые данные. Назначение решения Oracle Product Information Management Data Hub (PIM Data Hub) — централизация данных о продукции.

Компания Informatica широко известна в области хранилищ и интеграции данных. В то время как многие поставщики предлагают разные решения для разных доменов, которые зачастую навязывают фиксированные модели данных, Informatica избрала мультидоменный подход. Все необходимые домены мастер-данных можно вести на одной платформе и в рамках одного решения вендора. При этом между различными доменами могут быть построены связи любой сложности. Настраиваемые в Informatica MDM домены свободны от фиксированных моделей данных. Формирование «золотой» записи основывается на уровне доверия к конкретным атрибутам записей из систем-источников. При этом также можно учитывать дату/время изменения записи и использовать любые дополнительные бизнес-правила для изменения уровня доверия к атрибутам. Решение MDM от Informatica использует ведущую технологию поиска и выявления потенциальных дублей — Informatica Identity Resolution (IIR). Технология позволяет осуществлять высокоскоростной и высокоточный поиск и выявление потенциальных дублей с использованием механизмов нечеткой логики даже при низком качестве данных.

Немецкая компания SAP — крупнейший производитель корпоративного ПО. В числе прочих продуктов и услуг она предлагает решение по управлению основными данными — SAP Netweaver MDM. Продукт нацелен на средние и крупные предприятия. Решение является одним из ключевых компонентов платформы SAP Netweaver, предназначенной для построения и интеграции корпоративных решений. Данная система реализует централизованную архитектуру хранения справочных данных о продукции, клиентах и пр. Отличительной особенностью SAP MDM является мультиязычность программного интерфейса и самих данных: существует возможность заводить данные для одной сущности на разных языках.

Отдельно стоит отметить, что до недавнего времени цена и трудоемкость внедрения систем управления базовыми данными были неоправданно высокими для малого и среднего бизнеса. Стоимость легко могла достигать 1 млн долларов — недосягаемая цифра для таких компаний. И вот появились хорошие новости. Последняя версия Microsoft SQL Server включает в качестве бесплатного приложения MDM-систему под названием Master Data Services (MDS). Выход Microsoft на рынок MDM-систем — знаковое событие, если учитывать, что большинство малых и средних компаний используют решения этого вендора для управления своими данными и осуществления ежедневных операций. Небольшие фирмы, которые раньше не могли позволить себе внедрение дорогих MDM-систем, смогут получить «коробочное» решение, просто установив MS SQL Server 2008 R2.

В последнее время на рынок вышло множество новых разработчиков MDM, включая Teradata, Kalido, ObjectRiver Inc., Talend и др. Так, компания Talend предлагает решение Talend MDM Community Edition, которое призвано составить недорогую альтернативу другим MDM-системам и имеет открытый код.

Перспективы

По мнению специалистов, мировой рынок программного обеспечения класса MDM рассматривается как один из наиболее растущих в ИТ-отрасли. Так, по прогнозам Forrester Research, рынок MDM в этом году составит 6,7 млрд долл. Gartner полагает, что мировой доход от продаж ПО класса MDM в 2012 году достигнет 1,9 млрд долл., что на 21% больше, чем в прошлом. При этом, полагают аналитики, решения MDM появятся в центре ИТ-архитектуры многих организаций. Конкретных цифр по российскому рынку нет, но о его внушительных объемах и росте свидетельствуют примеры успешных внедрений MDM-решений в крупных российских банках, добывающих компаниях, госкорпорациях.

Контактная информация

Наши сайты: www.jet.su, www.jetinfo.ru. Электронная почта: info@jet.su.

Другие статьи раздела «Data Management, или О том, как управлять с умом»