В последние годы аналитическая обработка данных постепенно выходит на передний план. Аналитические модули появились в составе пакетов финансово-производственных приложений SAP R/3, Oracle Applications и др. Почти одновременно с лидерами мирового рынка подобные модули включили в свои системы российские фирмы, такие, как, например, “Парус” и “АйТи” (система “Босс-Корпорация”). В условиях рыночной экономики качество информационной поддержки деятельности руководителей и аналитиков становится одним из факторов достижения предприятиями конкурентных преимуществ. Осуществить такую поддержку непосредственно на основе данных OLTP-систем, автоматизирующих сбор и первичную обработку данных о деятельности предприятия, невозможно. Именно это и обусловило интерес к системам поддержки принятия решений (СППР, или DSS), ставших основной сферой применения OLAP (On-Line Analytical Processing, оперативная аналитическая обработка, оперативный анализ данных), превращающей “руду” OLTP-систем в готовое “изделие”, которое руководители и аналитики могут непосредственно использовать.
Основные классы OLAP-продуктов
Многомерная модель в OLAP является логической, она может быть реализована как базовая в СУБД (в этом случае речь идет о многомерных базах данных МБД, или MDB, т. е. соответственно о MOLAP) или смоделирована на реляционной базе данных (тогда говорят о ROLAP) благодаря применению схемы типа “звезда”. В центре “звезды” находится главная таблица - таблица фактов. Ее запись содержит показатель и составной ключ, состоящий из первичных ключей таблиц измерений (лучей, справочных таблиц).
Первоначально мировой рынок OLAP-продуктов развивался как рынок систем, реализующих MOLAP, но с середины 90-х годов основные поставщики реляционных СУБД архитектуры клиент-сервер начинают предлагать ROLAP.
OLAP-продукты, реализующие MOLAP, весьма разнообразны. Хотя статья Эдгара Кодда привлекла широкое внимание к OLAP в начале 90-х годов, необходимо отметить, что первые MOLAP-системы появились еще в конце 60-х. Ряд подобных систем разрабатывался именно как OLAP-продукты, например, семейство Oracle Express, в состав которого входят сервер МБД Express Server, система анализа МБД Express Analyzer, средства разработки OLAP-приложений Express Objects и несколько утилит и готовых приложений. Эти продукты позволяют создавать сложные OLAP-приложения. В других продуктах OLAP реализован как опция, например, в пакете Seagate Info, созданном на основе генератора отчетов Crystal Reports компании Seagate Software.
Естественно, возникает вопрос о том, что предпочтительнее - MOLAP или ROLAP. В самом общем виде ответ звучит так - для больших (десятки гигабайт) баз данных OLAP предпочтительнее ROLAP, для баз данных меньшего размера - MOLAP. Но острота этого вопроса в последнее время снимается благодаря развитию гибридного OLAP - HOLAP: это относится прежде всего к MOLAP-продуктам, которые получают возможность подключаться к реляционным базам и другим источникам данных и подкачивать информацию из них (это особенно важно в российских условиях, но об этом ниже).
В 1995 г. корпорация Oracle, продолжая развивать ROLAP в СУБД ORACLE, приобрела семейство MOLAP-продуктов Express.
Корпорации IBM и Microsoft только в прошлом году начали предлагать OLAP в рамках своих серверов баз данных. Подход Microsoft, пожалуй, наиболее оптимален с точки зрения реализации HOLAP. Кроме того, предложенный ею протокол доступа к данным OLE DB for OLAP становится таким же стандартом в мире OLAP, каким в мире реляционных СУБД архитектуры клиент-сервер является ODBC. От деятельности Microsoft на рынке OLAP ждут многого, но пока еще рано делать выводы о том, насколько она успешна.
Можно выделить три класса OLAP в зависимости от способов их распространения на рынке:
- готовые тиражируемые OLAP-приложения, распространяемые либо автономно, либо в составе прикладных пакетов;
- OLAP-приложения, создаваемые в рамках заказных проектов;
- OLAP-продукты (сервер, средства разработки приложений) для создания OLAP-приложений организацией-покупателем.
10 лидеров мирового рынка OLAP в 1999 и 1998 гг.
(взято с www.olapreport.com)
Историю средств оперативного анализа данных в России, наверное, следует отсчитывать с 1996 г., когда несколько компаний начали активно продвигать OLAP-продукты. К этому времени относится и разработка первых известных российских OLAP-приложений. Если судить по сайтам компьютерных компаний с описаниями OLAP-продуктов, то в настоящее время в России и странах СНГ продвижением OLAP занимаются несколько десятков компаний.
Компания “Терн” (www.tern.ru) не только продает комплект BusinessObjects компании Business Objects, но и успешно использует его при выполнении заказных проектов. OLAP-продукты компаний Cognos и CA/Platinum продвигает фирма Argussoft (www.argussoft.ru). OLAP-продукты от Oracle, Microsoft и Seagate Software распространяет компания Interface (www.interface.ru), которая регулярно проводит семинары по тематике OLAP и СППР. Финансовые приложения и OLAP-сервер корпорации Hyperion, а также приложения собственной разработки предлагает компания ЛАНИТ (www.lanit.ru). Компания SAS Institute предлагает свои сложные и дорогие программы, в том числе и OLAP-продукты, крупным организациям. Поставщики основных реляционных СУБД архитектуры клиент-сервер и их партнеры также действуют на российском рынке OLAP.
Что сдерживает развитие российского рынка OLAP? Можно указать ряд причин, обусловленных как активностью поставщиков и распространителей, так и отношением потенциальных пользователей.
Что касается поставщиков и распространителей OLAP-продуктов, то многие из них ведут работу с небольшим числом выделенных по каким-то критериям (или подобравшихся стихийно) определенных организаций. Например, Oracle СНГ и ее партнеры, похоже, наиболее активно продвигают OLAP в России, но лишь вместе с другими продуктами Oracle, и покупают Oracle Express в основном пользователи СУБД Oracle. А ведь OLTP-подсистемы информационных систем множества российских предприятий, в том числе и весьма крупных, построены на файл-серверной технологии (или простейшем варианте технологии клиент-сервер на основе Btrieve) и нет оснований ожидать в обозримом будущем массового перехода этих систем на технологию клиент-сервер. (в 1999 г. корпорация “Галактика” опубликовала результаты продаж своей одноименной системы, позиционируемой как система автоматизации средних и крупных предприятий. Продажи по платформам СУБД распределились так: Oracle - 16%, Microsoft - 7%, Btrieve - 77%.). Эти организации могли бы использовать такие MOLAP-продукты, как Oracle Express, или OLAP-приложения на их основе.
В целом же создается впечатление, что большинство поставщиков и распространителей OLAP в России весьма пассивны. Из-за этого возникают проблемы с русификацией продуктов и документации, технической поддержкой, отсутствием активного маркетинга.
В отношении потенциальных пользователей к OLAP-технологии также можно отметить несколько моментов, препятствующих ее распространению.
В потоке переводных публикаций OLAP рассматривается почти всегда в контексте больших и сверхбольших баз данных OLTP (десятки и сотни гигабайт) - информация, перекачанная из них в хранилище/витрины данных, и должна анализироваться средствами OLAP. Базы данных OLTP, с которыми имеют дело российские специалисты, как правило, намного меньше (у нас большими называют базы, содержащие несколько гигабайт данных, а то и несколько сот мегабайт).
А это приводит к тому, что наши специалисты часто воспринимают OLAP как нечто, не имеющее к ним в настоящее время отношения. И не только они. Сотрудники московского офиса одной крупной западной компании, выпускающей ряд программных продуктов, на мой вопрос, почему они не уделяют внимания продвижению своего OLAP-продукта, отвечали: “Но ведь OLAP нужен для баз данных размером под 80 и более гигабайт. А таких баз в России единицы”. (Справедливости ради должен отметить, что этот разговор состоялся два года назад. Хотя за прошедшее время компания не стала более активной в продвижении своего OLAP-продукта.)
Так вот, OLAP успешно применяется для анализа баз данных размером в десятки мегабайт (здесь следует уточнить, что это размер баз данных OLAP, т. е. величина исходных баз данных OLTP в 2-10 раз больше, так как не все данные OLTP нужны для анализа; речь идет только о размере содержательных данных). В 1997 г. Международная группа пользователей Oracle провела опрос пользователей Oracle Express, результаты которого были опубликованы на www.ioug.org. Согласно этому опросу, размеры используемых баз данных варьируют в диапазоне от 10 Мб до 4 Гб, среднее значение от 100 до 350 Мб. Эти данные позволяют сделать вывод, что круг российских организаций - потенциальных пользователей OLAP очень широк (а ведь многие предприятия, отработав с данными OLTP, архивируют их, не зная, как их использовать).
Еще один, и, пожалуй, более важный момент заключается в убеждении, также вынесенном из западных публикаций, что аналитика начинается тогда, когда автоматизированы основные бизнес-процессы и информационная система организации построена как совокупность интегрированных подсистем, включая хранилище/витрины данных. На многих же российских предприятиях царит “островковая” автоматизация, т. е. информационная система - это “зоопарк” из слабосвязанных и/или изолированных разнородных подсистем, задач, баз данных+ Но российские разработчики успешно применяли OLAP и в таких условиях (в этом случае особенно необходимы OLAP-продукты), идя от конкретных задач. На Украине фирма UBS (www.ubs-solutions.com) внедряет в одной организации почти полный набор модулей Oracle Applications, причем в первую очередь модули аналитики, используя накопленные данные и не ожидая полного перестроения информационной системы заказчика в результате внедрения других модулей.
Некоторые специалисты высказывают мнение, что основным препятствием для использования OLAP является незаинтересованность конечных пользователей в аналитике. Это действительно проблема, и, очевидно, единственный путь ее решения - просвещение пользователей. Но оптимизм внушает то, что незаинтересованность в аналитике, как правило, проявляют представители военных ведомств и чиновники госучреждений. В отраслях, где выше уровень конкуренции, аналитика воспринимается охотнее.
К настоящему времени в России и странах СНГ уже реализовано не менее 100 проектов с применением OLAP (это минимальная оценка, скорее можно говорить о максимальной оценке в 2-3 раза выше). Отсутствие активного маркетинга OLAP проявляется, в частности, и в том, что информация об этих проектах редко публикуется. Но даже немногие известные описания проектов, а также общение с разработчиками OLAP-приложений позволяют сделать некоторые выводы. OLAP-продукты как инструмент разработчика значительно проще, чем СУБД архитектуры клиент-сервер. При реализации OLAP решающее значение имеет качество данных, т. е. их полнота, согласованность. Эта проблема подчеркивается западными пользователями OLAP-продуктов, но, похоже, в России решать ее особенно трудно (как обеспечить сопоставимость ценовых данных за 90-е годы, если учет не велся в у. е.?). OLAP, как отмечалось выше, используется прежде всего в СППР и в случае успешной реализации этих систем отношение руководителей к ИТ значительно улучшается+
Большинство OLAP-продуктов, которые более-менее активно продвигаются в России, относятся к категории “тяжелых”, в том числе и по цене. И до последнего времени эти продукты преимущественно использовали крупные предприятия, банки и государственные структуры. Но выход бесплатного OLAP-сервера Microsoft, который оказывает ценовое давление на других поставщиков, создает условия для применения OLAP-технологии средними и малыми организациями.
Если вы хотите оспорить или уточнить какие-то положения этой статьи, пишите по адресу: arezn99@mail.ru.
Отчего и почему OLAP
Ранее в СССР аналитическая обработка данных производилась на машинах ЕС и СМ ЭВМ. Какие-либо специализированные программные средства для этого не использовались. Как правило, для разработки применялись те же средства, что и для оперативной обработки транзакций (OLTP), - СУБД и средства разработки приложений, а также генераторы отчетов. Разработчики информационных систем, реализуя как OLTP, так и аналитическую обработку данных, часто сталкивались со следующей проблемой: для оптимальной (в смысле минимизации используемых машинных ресурсов, трудоемкости разработки и т. д. ) реализации OLTP требовалась база данных одной структуры, а для оптимального выполнения аналитической обработки - другой. Наиболее важная задача, решаемая с применением OLTP, - это ввод (с контролем) информации в базу данных (технологически, как правило, это множество коротких транзакций к базе данных) в заданный срок. Важность решения этой задачи в рамках любой информационной системы очевидна, и если разработчики принимали решение работать с единой базой данных, то выбор этот чаще всего делался в пользу той ее структуры, при которой оптимизировался ввод данных (либо выбиралась структура базы данных, не оптимальная ни для ввода данных, ни для аналитической обработки, но позволяющая решать обе задачи удовлетворительно). Но нередко разработчики работали с двумя базами: ввод данных происходил в одну, а затем, после завершения этого процесса, прошедшие все необходимые виды контроля данные переносились во вторую (в первом приближении такую БД можно назвать хранилищем данных), структура которой выбиралась для оптимизации последующей обработки, в том числе и аналитической. Причем необходимость во второй базе данных была тем выше, чем сложнее были запросы к данным при аналитической обработке. Эта схема - с двумя базами данных и одной СУБД - применяется и в настоящее время. Естественный шаг в ее развитии - это использование для работы со второй базой специализированной технологии (и продуктов, ее реализующих). В качестве такой технологии в последнее время наибольшее признание получила OLAP-технология.
Определение OLAP как аналитической обработки данных с применением многомерной модели было предложено в начале 90-х годов Эдгаром Коддом в виде знаменитых 12 правил. Основам OLAP в российских компьютерных изданиях и в Интернете уже посвящено немало статей (см., например, www.olap.ru).
Менеджеры российских компаний о рынке OLAP
Автор обратился к компаниям, действующим на российском рынке OLAP, с просьбой вкратце его охарактеризовать. Были получены следующие ответы.
Дмитрий Загороднийчук, менеджер по маркетингу компании Avicomp Services AG: По нашему мнению, только около 50% организаций, для которых актуальны задачи, решаемые с использованием OLAP-систем, в полной мере осознают это и принимают меры для внедрения у себя соответствующих средств автоматизации. В подавляющем большинстве их интересуют приложения, а не средства разработки.
На многих предприятиях внедрение OLAP-систем не является первоочередной задачей. Не все руководители понимают выгоду от использования средств анализа. А те, которые знают, как использовать OLAP-системы в управлении предприятием, не имеют возможности выделить ресурсы для их внедрения.
Специальной оценки конкурентов на рынке OLAP, в том числе и Microsoft, мы не проводили.
Александр Пелагейкин, менеджер по маркетингу компании РДТЕХ: Компания РДТЕХ с 1998 г. начала разработку отчетно-аналитических систем и продажу продуктов Oracle Express. Российский рынок OLAP пока не развит, но тем не менее видится нам перспективным. Сильно мешает то, что к его формированию никто никаких усилий не прилагает. В случае ИТ не спрос рождает предложение, а предложение формирует рынок и спрос.
В данный момент многие компании в России занимаются тематикой OLAP, поэтому особо кого-то выделять я не буду.
Что касается выхода Microsoft на рынок OLAP, то еще рано говорить о каких-либо результатах, так как не слышно о реализации проектов на российском рынке с использованием продуктов Microsoft. В компьютерной прессе и в Интернете неоднократно появлялись обзоры продуктов OLAP, в том числе и производства Microsoft. Если судить по этим публикациям, то продукт Microsoft пока сыроват и тягаться с лидерами ему тяжело.
Сергей Шургин, менеджер по маркетингу компании “Терн”: Компания “Терн” пришла на рынок OLAP в 1996 г. С 1997 г. мы являемся региональным партнером компании Business Objects в России и странах СНГ. Рынок OLAP в России до конца не сформирован, но в ближайшем будущем преобразуется в важный отдельный сегмент рынка ИТ. Мешает слабое развитие информационных систем на российских предприятиях и недостаточное осмысление необходимости их использования. Говоря о слабом развитии, мы имеем в виду невостребованность информационных систем руководством и персоналом компаний, плохую постановку учета и управления. Не хотелось бы выделять какие-либо компании среди конкурентов, так как на самом деле их очень много. Выход Microsoft на рынок OLAP мы оцениваем положительно. Эта компания будет популяризировать OLAP вообще, но пока она не в состоянии предложить заказчикам корпоративных решений. Помимо этого, Microsoft - партнер Business Objects, в состав продуктов которой входят инструменты доступа к MS SQL Server OLAP Services.
Мировой рынок OLAP
Сайт www.olapreport.com фирмы Business Intelligence служит, возможно, самым полным источником информации по OLAP. Здесь подробно изложена история OLAP и многомерных баз данных, публикуются подробные обзоры продуктов, анализируется динамика рынка и т. д. Ряд статей c этого сайта переведен на русский язык (см. www.socio.newmail.ru). Пожалуй, единственным спорным разделом здесь является анализ характеристик мирового рынка OLAP, методика которого (она изложена на сайте) вызывает сомнения. Например, при определении доли Oracle в нее не включены результаты продаж Oracle Discoverer, реализующего ROLAP; кроме того, анализируются качественно разные продукты - приложения (Pillar), серверы баз данных OLAP, средства разработки OLAP-приложений, продукты, помимо функций OLAP несущие и другие функции (BusinessObjects). Строго говоря, для корректного анализа надо сегментировать рынок OLAP+
Мировой рынок OLAP-продуктов зарекомендовал себя, как один из наиболее динамичных секторов мирового рынка ПО (к такому выводу пришли все исследовательские компании). Его динамика проявляется как в быстром росте продаж (1 млрд. долл. в 1996 г., 1,4 млрд. долл. в 1997 г., более 2 млрд. долл. в 1998 г. и 2,5 млрд. долл. в 1999 г.), так и в появлении новых фирм-разработчиков и слияниях (приведены цифры Business Intelligence, которые, как и доли отдельных фирм, весьма отличаются от данных других исследовательских компаний).
