Охота за привидениями

УПРАВЛЕНИЕ

Вас когда-нибудь тревожили проблемы качества данных? Вы хотели бы изгнать этих бесов? Вот несколько советов о том, как можно было бы поступить в духе времени

В прошлом году несколько отделений корпорации J.M.Huber (Эдисон, шт.Нью-Джерси) лишились 36% своих клиентов, но вряд ли Джон Мерфи, ее “гуру” по управлению данными, чувствовал себя когда-нибудь более счастливым.

Тактика ужаса: Джон Мерфи из M.J.Huber

Что же так обрадовало Мерфи? Дело в том, что компанию покинули вовсе не клиенты. Это были лишь привидения, воплощенные в ненужные данные, которыми были загромождены устаревающие финансовые и производственные системы, а также системы материально-технического снабжения производственной компании с капиталом в 1,5 млрд. долл. Из-за отсутствия стандартов данных в масштабе предприятия и небрежного ввода информации постепенно, с годами в различных системах корпорации Huber для многих клиентов было создано по нескольку имен и номеров счетов. Так, например, у одного из клиентов существовало 37 различных номеров счетов, а его имя было написано 18 различными способами.

Имея столь “грязные” данные, почти невозможно получить ответ на такой базовый вопрос: “Кто является самым крупным клиентом компании?” Однажды, составляя сводный отчет о продажах по отделениям, три секретаря корпорации Huber потратили три недели на то, чтобы вручную ввести данные о клиентах из разных систем в электронные таблицы Lotus. В итоге руководители отделов сбыта и маркетинга забраковали полученные результаты как ненадежные. “Они были очень плохие и сильно запутаны”,  -  вспоминает Мерфи.

Качество данных и их очистка. Основные проблемы, связанные с хранилищами данных

К сожалению, Huber не единственная компания, в которой возникают подобные проблемы с данными. Например, системы в отделениях компании Owens-Corning (Толедо, шт. Огайо), находящихся в разных странах мира, содержали 12 различных номенклатур для запасных деталей. Это означало, что один завод этой компании просто не мог обратиться к другому, когда возникала срочная потребность в запасных деталях. Кроме того, компания не могла объединить системы оформления заказов в целях учета.

Фактически руководителям отделов информационных технологий (ОИТ) и развития бизнеса в большинстве крупных компаний давно известны проблемы, связанные с качеством данных. Существующие системы часто создавались с узкой функциональной ориентацией, а общему определению данных в масштабе предприятия уделялось мало внимания, если оно вообще уделялось. Поэтому в системах регистрации заказов компаний клиенты могли быть пронумерованы или идентифицированы одним способом, а в системах бухгалтерского учета  -  другим. Но в большинстве компаний руководители ОИТ сопротивлялись введению стандартов данных, предпочитая создавать системы в соответствии с требованиями пользователей, вместо того чтобы “стоять на страже” данных предприятия. И все это из благих побуждений. Политические проблемы, связанные с тем, как убедить руководителей подразделений в необходимости изменения “дорогих” для них данных и процессов для общей пользы, лишь еще больше усложняют реорганизацию существующих данных.

Дейв Липоу, ведущий специалист по глобальному развитию, отвечает в компании Owens-Corning за проект Advantage 2000 по реорганизации SAP-интегрированных приложений к 1997 году, который стоит 62 миллиона долларов. Он считает, что качество данных  -  “... невероятно трудная проблема для многих наших пользователей. Люди тщательно разработали восьмиразрядные коды, в которых каждая цифра или буква имеют некоторое значение, понятное каждому члену группы. Мы же пытаемся заставить их перейти к новым кодам, которые будут полезны для предприятия в целом. Это может вызвать упорное сопротивление”.

Однако сейчас руководители ОИТ наконец оказались лицом к лицу с “привидениями” в своих данных. Такие компании, как Huber, Owens-Corning, Sara Lee и Colgate-Palmolive, развернули крупные программы по вытаскиванию “грязных” данных на свет божий и созданию новых общих стандартных определений в масштабе предприятия. Эти долгожданные усилия поддерживаются новым поколением инструментальных средств анализа и очистки данных. И что более важно, они заставляют ОИТ стать “завхозами” новых данных и взаимодействовать с пользователями из мира бизнеса при разработке новых стандартов данных и создании новых организационных структур для их внедрения.

“В течение последних 10 лет мы строили системы исходя из того, что всегда можно вернуться назад и удалить несодержательные данные позднее,  -  сказал Майк Радклиф, менеджер по информатизации компании Owens-Corning.  -  Но позднее  -  значит уже сейчас”.

Почему сейчас? Новая ориентация на качество и стандарты данных во многих организациях  -  это побочный продукт безудержного стремления к реорганизации интегрированных приложений масштаба предприятия, например хранилищ данных и систем планирования ресурсов предприятия типа SAP. Эти системы сулят пользователям из мира бизнеса содержательный, многофункциональный подход к информации и процессам в компании. Но они также требуют и согласования стандартов данных в масштабе компании. Например, SAP создает единый интегрированный главный файл данных о материалах, который используется несколькими приложениями, такими, как планирование производства, оперативное планирование и техническое обслуживание оборудования.

“SAP вынуждает вас к тому, чтобы все ваши данные были всегда синхронизированы в клиентской части системы,  -  говорит Радклиф.  -  Везде в организации номера клиентов должны означать одно и то же. Мы понимали это, когда начинали свой проект, но мы не могли даже представить, какие для этого потребуются усилия”.

В канун 1994 года, то есть еще до начала фактического внедрения системы SAP, компания Owens-Corning приступила к стандартизации данных, сосредоточившись на определениях материалов и производственных процессов. Тем не менее подготовительный этап потребовал гораздо больше времени, чем планировалось. Незадолго до его завершения первая группа стандартизации компании Owens-Corning работала по 12 часов в день, а также в выходные, чтобы закруглиться к январю, когда должна была вводиться в эксплуатацию первая очередь системы.

Сначала Owens-Corning создала одну группу стандартизации данных из специалистов по информационным системам (ИС) и представителей проектно-конструкторских и производственных отделов, отделов технического обслуживания и материально-технического обеспечения. Эта группа потратила долгие часы на то, чтобы пользователи из этих функциональных областей смогли прийти к соглашению по поводу того, какие определения данных должны быть стандартизованы и какими должны быть новые стандарты. Затем эта группа написала программы для отображения существующих данных и их перевода в SAP в соответствии с новыми стандартами. Однако, как только эта группа приступила к проекту, ее участники поняли, насколько плохо обстоят дела.

“Этот процесс выполнялся преимущественно вручную, и во многих приложениях данных либо не было, либо они были настолько ненадежными, что приводили к неправильным результатам,  -  сказал Дэйв Липоу.  -  В некоторых случаях все было так плохо, что нам приходилось возвращаться назад и создавать данные снова”. Теперь в Owens-Corning работает пять разных групп стандартизации данных. Каждая из них занимается данными, необходимыми для основных бизнес-процессов, реорганизуемых на базе SAP.

Некоторые организации занялись новыми инструментальными средствами анализа и очистки данных, позволяющими во многом отказаться от ручной работы по реорганизации существующей информации. Например, корпорация Huber, производитель нефте- и газопродуктов, химических продуктов и изделий из дерева, использует Integrity, инструментарий реорганизации данных нового класса, созданный фирмой Vality Technology (Бостон). Vality применяет статистическое согласование и другие методы решения числовых задач большого объема для оценки каждого экземпляра “данные - значение” даже в произвольных полях свободного формата. Затем эта система может рационализировать различия, а результаты могут быть переданы в хранилища данных или новые приложения типа SAP.

Однако инструментарии, аналогичные системе фирмы Vality,  -  это только часть дела. “Инструментальные средства  -  не волшебники,  -  предупреждает Бет Забель, руководитель администрации данных и систем корпорации Huber.  -  Правильный подход к стандартизации данных заключается в том, чтобы очищать их в источнике, т. е. контролировать то, что происходит в системе производства. Если вы попытаетесь очищать данные только по мере их получения в хранилище или в новом приложении, вас будут преследовать кошмары. Данные о производстве будут изменяться, а на вашу долю придется большая работа по сопровождению”.

Усилия Huber по стандартизации данных представляли собой медленную и тяжелую борьбу. Но в конечном итоге корпорация начала изгонять привидения из своих систем. Она достигла большого прогресса, создав стандарт данных о клиентах в виде идентификационных номеров. После просеивания и очистки существующих в Huber данных небольшая группа, возглавляемая Мерфи и Забель, сконцентрировала свои усилия на синхронизации определений данных. Они создали уникальное хранилище данных, получившее название ERS (Enterprise Repository System  -  система хранилища масштаба предприятия), которое используется в качестве единого входного пункта при создании или вводе информации обо всех клиентах, поставщиках или служащих. Основанная на Oracle 7, система ERS хранит информацию о клиентах в стандартных форматах. Один из них, так называемый Common Numbering Protocol (протокол общей нумерации), устанавливает унифицированный номер для каждого клиента. Чтобы добавить новых клиентов в производственные системы, пользователи должны использовать хранилище ERS, которое прежде всего осуществляет поиск в БД для проверки, нет ли уже такого клиента. Если есть, информация об этом клиенте загружается из ERS в локальную предметную БД с использованием средств репликации Oracle. Таким образом, поля данных о клиентах и их значения используются в стандартном виде.

К настоящему времени хранилище ERS используется для информации о клиентах в нескольких производственных отделениях корпорации Huber. Однако пока проект не смог проложить путь к другим областям, касающимся информации о поставщиках и служащих. Почему? Руководители ОИТ корпорации Huber признают, что они не всегда следуют тому, что многие называют золотым правилом успешного использования стандартов данных, которое звучит так: постоянно ориентируйтесь на корпоративных клиентов и клиентов из разных сфер бизнеса. “ИС не должна пытаться управлять этим и контролировать это,  -  считает Майк Крэг, отвечающий за архитектуру ИТ в компании Ernst&Young.  -  Она должна взаимодействовать с бизнесом, поскольку в конечном итоге именно бизнес извлекает смысл из данных”.

В корпорации Huber система ERS с самого начала использовала такую ориентацию на высоком уровне. Глава финансовой службы компании был спонсором проекта. Но, когда он ушел в отставку, ИС стала еле-еле справляться с этим. “Нам нужно было суметь реализовать этот проект в контексте бизнеса и показать, какая будет прибыль,  -  говорит вице-президент и менеджер по информатизации Стив Финнерти.  -  Даже сейчас мы все еще работаем над этим, чтобы иметь возможность продемонстрировать выгоды такого рода”.

Когда поддержка стандартов данных исходит сверху, ОИТ находится в гораздо более прочном положении. Например, в компании Sara Lee Knit Products с капиталом в 1 млрд. долл. поддержка исходит непосредственно от исполнительного директора Керка Бодина, который считает, что это жизненно необходимо для создания крупных клиент-серверных хранилищ данных. С благословения Бодина менеджер по информатизации Том Кэш и его группа смогли потребовать, чтобы клиенты из разных сфер бизнеса очистили и стандартизировали свои собственные данные прежде, чем ОИТ согласится ввести их в хранилище. “Данные не будут введены, пока все они не будут сбалансированы и не будут соблюдены критерии управления”,  -  сказал Джим Нантон, директор отдела ИС для деловой сферы компании Winston-Salem (Северная Каролина).

- Для руководителей ОИТ, занимающихся стандартизацией данных, существуют еще три эмпирических правила.

Создавайте стандартные определения данных как можно быстрее, начиная с тех, которые не вызывают у клиентов из сферы бизнеса никаких возражений. Не рассчитывайте на то, что хранилища особо важных данных или другие проекты можно отложить до тех пор, пока не появятся полные стандарты. Эксперты предупреждают, что двухлетние проекты моделирования данных не проходили в восьмидесятые годы, не пройдут они и теперь.

“Это может быть сделано только там, где это оправдано с точки зрения бизнеса,  -  утверждает Фрэнк Морелли, вице-президент, отвечающий за глобальные приложения в компании Colgate-Palmolive (Нью-Йорк).  -  Разработка стандартов данных ради самих стандартов  -  это смешно”. Компания Colgate-Palmolive, установившая в феврале систему U.S. SAP R/3, прекратила настаивать на полноте стандартов определения данных в случаях, когда руководителям предприятий кажется, что они теряют самостоятельность и гибкость. По словам Морелли, в некоторых случаях они соглашались только с числом символов в поле и не всегда с кодами. “Мы вернемся к этому позднее”,  -  говорит Морелли.

Для достижения быстрого согласия в отношении стандартов данных эксперты рекомендуют создавать междисциплинарные и отраслевые группы, а также комбинацию моделирования данных и быстрого построения системы на базе модели быстрой разработки приложений.

- Не останавливайтесь только на создании стандартов данных. Вам также нужна система для защиты, усиления и развития стандартов по мере изменений в сфере бизнеса. Компания Chevron, разработавшая стандарты данных в рамках проекта R/3 компании SAP, рассчитанного на 10 000 пользователей, планирует создать комитеты, которые будут следить за возможными изменениями стандартных определений данных. Другие организации могут оценить формальных исполнителей, являющихся владельцами новых реорганизованных бизнес-процессов, чтобы взять на себя ответственность за поддержание стандартов данных.

- Помните, эта работа почти наверняка займет гораздо больше времени, чем вам кажется. “Мы бы порекомендовали приступить к ней даже до того, как формально начнется проектирование системы, которой вы собираетесь заниматься,  -  говорит Липоу из компании Owens-Corning.  -  Мы поступили именно так и все еще работали над этим вплоть до запуска системы SAP”.

Но, в конце концов, даже охотники за привидениями не смогли с первой попытки укротить всех духов.

Джефф Моуд