Хранилища данных: опыт российских банков

   КОНФЕРЕНЦИИ

21 апреля в Москве прошла конференция "Опыт применения технологий Business Intelligence для повышения прибыльности бизнеса российских банков", организованная компаниями IBM, Oracle и "Диасофт" и посвященная вопросам построения и развития хранилищ данных (ХД) как инструмента управления банком. Спонсорами мероприятия выступили фирма IDC и производственный центр (ПЦ) Datagy компании "Диасофт". Конференция собрала более шестидесяти участников, среди которых были руководители финансовых подразделений и отделов информатизации крупных российских банков.   

Взгляд IDC на рынок ХД

По оценкам IDC, рынок информационных технологий (ИТ) в России в 2003 г. вырос на 23%, а по сравнению с 1997 г. его объем увеличился на 40%. Банковский сектор является одним из главных потребителей ИТ: расходы на эти нужды здесь сопоставимы с ИТ-бюджетами нефтегазового сектора экономики (а рост расходов на ИТ в прошлом году в целом по стране составил 12%). Финансовая отрасль использует самые передовые современные ИТ, в том числе и ХД. По данным IDC, наибольший спрос в 2003 г. наблюдался на системы хранения данных, прикладное ПО, заказные программные продукты, серверы на платформе х86, ИТ-консалтинг. Рост продаж прикладного ПО в значительной степени произошел за счет систем поддержки принятия решений. ХД и технологии Data Mining занимают в этом сегменте продуктов всего 7%, но, по мнению специалистов IDC, у них хорошие перспективы в банковском секторе.     

Сергей Слепцов,

 ведущий консультант IDC

Инструментарий ХД состоит их трех основных частей: средств для построения БД, для управления ею и для доступа к хранящейся там информации. Есть два подхода к созданию ХД, реализуемые разными группами вендоров. Производители СУБД - компании IBM, NCR, Oracle и Microsoft - строят решения в области ХД путем добавления к своему основному продукту средств проектирования ХД и доступа к ним, инструментов Business Intelligence (BI), таких, как Data Mining, On-line Analytical Processing (OLAP) и т. п. Другая группа фирм (SAS Institute, Cognos, Hyperion Solutions) использует в качестве основы свои мощные средства создания специализированных БД и доступа к ним. Каждый подход имеет свои преимущества и пользуется спросом. В первом случае потребитель получает продукт, созданный по единой методологии, во втором - многоплатформенное решение. Хотя для различных сегментов рынка ХД соотношение сил компаний-производителей разное, в целом наибольшее распространение в мире, по данным IDC, получили ХД компаний Oracle и IBM. На третьем месте - SAS Institute.

ХД и средства бизнес-анализа от Oracle

Корпоративная информационно-аналитическая система призвана объединить данные из разных источников (БД, файловых систем и пр.) и предоставить их конечным пользователям - руководителям различного уровня, сотрудникам аналитических подразделений, экономических служб - всем, кто решает аналитические задачи. Основными функциями системы являются: сбор данных (согласование, очистка, преобразование), хранение и предоставление методов их анализа. Эти функции реализуются рядом продуктов, которые в соответствии с современной концепцией Oracle объединены в единое интегрированное решение. Начиная с девятой версии СУБД Oracle содержит ХД Oracle Database, поддерживающее не только реляционную, но и многомерную модель данных. В продукт встроены средства анализа больших объемов информации и выявления скрытых закономерностей (Data Mining).    

Ольга Горчинская,

 ведущий консультант Oracle СНГ

В недавно выпущенной новой версии - Oracle Database 10g - развитие идет по трем направлениям: повышение производительности, улучшение администрирования, расширение аналитического аппарата. Размер БД достиг 8 экзабайт (8 млн. терабайт), возможно хранение сложных объектов (географических карт, видео- и аудиороликов), встроены новые средства распределения данных на дисках (ASM), не нуждающиеся в традиционной файловой системе. Автоматизация администрирования направлена на снижение затрат и облегчение процесса управления ХД.

Расширены аналитические возможности базового диалекта языка SQL, применяемого в продуктах Oracle. Встроенные средства SQL-моделирования позволяют работать с реляционной таблицей как со страницей данных в Excel. Увеличен список встроенных аналитических инструментов, который включает теперь статистический, регрессионный, эвристический анализ и другие математические пакеты, обычно приобретаемые отдельно.

Для сбора данных из разнородных источников инструментарий СУБД Oracle Database дополнен ETL-средствами (Extraction, Transformation, Loading), осуществляющими сбор, очистку, согласование, корректировку и загрузку данных в базу. С помощью визуальных CASE-инструментов можно легко устанавливать правила преобразования и согласования данных при загрузке, а потом на этой основе генерировать скрипты, реализующие необходимые процедуры.

Кроме средств нижнего уровня, позволяющих манипулировать данными, есть графические интерфейсы, построенные на основе Java-компонентов. Расширение Discoverer позволит конечному пользователю работать с многомерными структурами. Для целей специализированного анализа служат средства построения интерфейсов к многомерным БД - GDeveloper и компоненты BI Beans.

Современные технологии Data Mining, основанные не только на классическом статистическом анализе, но в большей степени на использовании эвристических методов искусственного интеллекта и нейронных сетей, получили в последнее время широкое применение в CRM-системах для сегментации клиентской базы, оптимизации маркетинговых мероприятий и пр. Начиная с девятой версии алгоритмы для решения таких задач встроены в СУБД Oracle Database. В десятой версии их перечень пополнился средствами прогнозирования, кластеризации, выделения групп и существенных признаков объектов. Однако для эффективного применения технологии Data Mining важно иметь большой накопленный объем архивной информации.

В дополнение к перечисленным базовым технологиям Oracle предлагает прикладные программы, в том числе аналитические, объединенные в группу CPM (Corporate Performance Management) и предназначенные для эффективного управления предприятием. На нужды банков и финансовых организаций ориентирован интегрированный пакет Oracle Financial Services Applications, в котором наряду с базовыми технологиями нашла применение промышленная модель ХД. В число специализированных входят приложения для решения задач управления рисками, бюджетирования, планирования и др.

Сложность внедрения ХД: опыт компании IBM

Самым крупным западным проектом IBM было внедрение в конце 90-х годов в Citybank ХД, призванного консолидировать информацию из различных источников (из подразделений по обслуживанию пластиковых карточек, страховой и финансовой групп). Согласно статистике, накопленной в IBM, период окупаемости проектов по созданию ХД на западном рынке составляет от полугода до трех лет, а стоимость проекта - от 500 тыс. до 4 млн. долл. Обычно на этапе постановки задачи он выполняется с привлечением внешнего консультанта в области управления данными.

Для российского рынка такой статистики пока нет, но наблюдались случаи окупаемости ХД в результате одной сделки с клиентом. Отмеченной специалистами IBM особенностью внедрения ХД в России является необходимость установления тесного взаимодействия между бизнес- и ИТ-подразделениями банка с целью уточнения исходных требований к ХД и контуров проекта в целом. Зачастую ХД используется для решения какой-то одной задачи (например, анализа рисков), т. е. служит целям так называемого спонсора или структурного подразделения, выбравшего решение. В таких случаях важно расширить применение ХД в интересах всего кредитного учреждения.

Другая трудность, по мнению IBM, обусловлена сложной организационной моделью финансовой компании, противоречивостью требований отдельных ее подразделений. Автоматизация банка и его филиалов подчас бывает выполнена на базе разрозненного набора информационных систем, пользователи которых вполне ими удовлетворены, а потому занимают оборонительную позицию по отношению к изменениям, неизбежным во всяком новом проекте. Нужно также контролировать сроки внедрения системы, ибо они зачастую затягиваются в силу запоздалого предоставления требований к ХД или неучтенных особенностей его архитектуры.

IBM предлагает для создания ХД два своих продукта. Первый - СУБД DB2, способная интегрировать компоненты нескольких производителей: например, для целей многомерного анализа используются разработки Hyperion. Второй - специализированное решение для банков Banking Data Warehouse, которое вобрало в себя опыт многих (около 80) проектов, выполненных по всему миру, содержит настраиваемую банковскую бизнес-модель и готовую систему отчетности.

Среди особенностей мирового рынка ХД IBM отмечает предложение услуг по аутсорсингу управления данными для средних и мелких клиентов (построение клиентского ХД и дистанционное обращение к нему через Web-интерфейс) и большое влияние требований Базельского комитета по расширению финансовой отчетности и контролю за рисками.    

Решение Datagy для построения и развития ХД

Классификацию западных поставщиков технологий и продуктов для создания ХД, а также происходящие на российском рынке ХД изменения рассмотрел на конференции директор ПЦ Datagy Сергей Федечкин. По оценкам экспертов, сектор ETL-средств создания или выгрузки данных в хранилище находится в стадии формирования. В нем действуют три основных типа поставщиков. Независимые - Data Stage, ETI, Informatica - работают с гетерогенными источниками и разнородными СУБД, не отдавая предпочтения той или иной платформе. Поставщики OLAP-инструментов обычно предлагают ETL-средства для получения законченного решения. Производители СУБД используют преимущества интеграции своих СУБД с собственными мощными ETL-средствами (IBM Warehouse Manager, Microsoft DTS, Oracle Warehouse Builder).    

Мария Россоловская,

 управляющий консультант

 IBM Business Consulting Services

Мировой рынок инструментов OLAP и генерации отчетов вполне сформировался, а в России сегодня ведущие позиции занимают четыре независимых поставщика: Cognos, Hyperion, Business Objects и MicroStrategy.

Компании Microsoft, Oracle и IBM также инвестируют в технологии генерации отчетов и многомерного анализа данных, интегрируя их со своими СУБД.

Рынок СУБД - наиболее сформированный. СУБД подразделяют на реляционные (DB2, MS SQL Server, Oracle, Sybase), многомерные (DB2, Oracle) и специализированные (Teradata, Sybase IQ). Технология Data Mining активно обсуждается в России, но для ее успешного применения требуется большой объем исторических данных высокого качества. Рынок независимых поставщиков Data Mining уже сложился. Это компании KXEN, PolyAnalist, Clementine, SPSS, Statistica. Свои средства Data Mining предлагают разработчики OLAP-решений (Cognos, SAS Institute) и СУБД (Microsoft, Oracle, IBM).    

Сергей Федечкин,

 директор производственного центра Datagy

Основная тенденция в развитии рынка ХД - желание заказчика получить законченное решение, включающее в себя все компоненты, - стимулирует укрупнение поставщиков путем взаимных слияний и поглощений. Изменился характер отечественных тендеров по выбору ХД, а банки научились формулировать критерии оценки решений и поставщиков. Ведется локализация западных продуктов. Актуальной становится интеграция транзакционных банковских систем и ХД: как те, так и другие в перспективе должны поддерживать технологии обмена информацией в режиме реального времени. Постоянно увеличивается объем ХД.

"Диасофт" предлагает финансово-кредитным организациям свое ХД-решение Datagy вместе с инструментами OLAP и услугами ИТ-консалтинга. На его основе решаются четыре типа задач:

- поддержка маркетинга и продаж (CRM-компоненты);

- управление активами и пассивами, ликвидностью;

- анализ прибыльности продуктов и подразделений;

- управление каналами предоставления услуг.

ХД Datagy построено на основе промышленных компонентов и содержит типовые витрины данных для различных областей применения. В Datagy заложена отраслевая модель данных Datagy R5, ориентированная на финансовые компании. С точки зрения технологии построения ХД ключевыми являются аудит и контроль качества данных, позволяющие гарантировать достоверность информации, принимать организационные и технологические меры по постоянному его повышению.

Практика "Диасофта" показывает, что есть два основных подхода к созданию ХД: начинать с построения одной витрины данных или сразу развертывать полномасштабное ХД. Каждый из них имеет свои сильные и слабые стороны. Организация нескольких разрозненных витрин неэффективна - слишком велико число дублирующих процессов перегрузки данных. Приобретенный компанией практический опыт позволяет дать следующие рекомендации по созданию ХД:

- свести к минимуму число источников данных;

- определить миссию проекта (т. е. иметь ясное представление о том, что должно быть получено);

- создать рабочую группу, отвечающую за ХД, и обеспечить взаимодействие с ней на всех уровнях;

- заранее определить методику тестирования корректности данных, на ранних этапах внедрения проводить аудит данных.

Опыт применения BI-технологий в российских банках

Вслед за поставщиками решений на конференции выступили представители ведущих российских банков, которые на основе собственного опыта рассказали об особенностях построения и использования ХД в своей деятельности.

Директор ИТ-отдела Альфа-банка Сергей Меднов отметил ряд причин, влияющих на развитие банковских ИС: приход на наш рынок западных кредитных учреждений, обращение к розничному бизнесу, региональная экспансия, процессы слияния и поглощения банков. Все это диктует необходимость быстро реагировать на внешние условия, выпускать конкурентные продукты, осваивать новые каналы продаж. Усиливается контроль расходов на ИТ, инвестиции становятся более целенаправленными и соотнесенными с бизнес-целями.

Для создания ХД в банке, по мнению Сергея Меднова, важна способность банка к изменениям, а она зависит от структуры управления и ее зрелости, степени централизации процедур финансового контроля и планирования. Наличие системы автоматизации также играет немалую роль, и в этом отношении положение российских банков по сравнению с западными имеет преимущества: нет унаследованных систем, в которых хранятся большие объемы данных.

В Альфа-банке, где эксплуатируется западная АБС Equation на платформе AS/400 и СУБД DB2, идет процесс формирования ХД на базе DB2 и создаются необходимые витрины данных, что, в частности, позволяет банку как многофилиальному учреждению получать управленческую отчетность. Однако продолжающееся интенсивное развитие и перестройка мешают ему перейти к выполнению глобального проекта по ХД. Опыт Альфа-банка наглядно демонстрирует преимущества использования готовых продуктов и технологий одного производителя, имеющего практический опыт построения ХД.

Внешэкономбанк работает на ПО собственной разработки. В 1999 г. началось внедрение ХД на платформе Oracle, объем которого в 2004 г. достиг 800 млн. записей о банковских операциях. Основной задачей ХД во Внешэкономбанке является составление отчетности. В качестве сервера БД используется HP 9000, причем сетевая инфраструктура едина для OLTP-системы и хранилища. ХД снабжено OLAP-средствами (Business Objects) и разработанными на Oracle PRO C и PL/SQL ETL-процедурами. Отсутствие филиалов позволило использовать на рабочих местах пользователей "толстый" клиент (с программами для манипулирования микрокубами).

НОМОС-банк - универсальное предприятие, входящее в число двадцати самых крупных финансовых учреждений России. Его деятельность автоматизирована с помощью ряда готовых продуктов:

- основные банковские операции - АБС "Кворум" на платформе Oracle;

- работа с ценными бумагами - 5NT(e) Custody;

- обслуживание пластиковых карточек - "Компас +";

- CRM-система - SalesLogix.

Используется также ряд собственных разработок.

В результате обследования, проведенного компанией ОТР, была сформулирована ИТ-стратегия развития банка и принято решение о создании ХД. В закрытом тендере с участием отечественных поставщиков выбор пал на ХД Datagy компании "Диасофт". В качестве платформы используется СУБД Oracle (планируется переход на версию 9i), средства визуализации реализованы на Business Objects. На ХД в НОМОС-банке возложено решение следующих задач: анализ кредитов, построение управленческой отчетности, в том числе по стандартам МСФО, управление ликвидностью, оценка прибыльности клиентов и услуг и др. Процесс развития ХД продолжается. Трудности, с которыми пришлось столкнуться, - это низкое качество исходных данных и слабая их согласованность в разных источниках, отсутствие эффективных механизмов управления объединенной рабочей группой ХД, необходимость доработок.

Конференцию завершил круглый стол по теме "Хранилища данных в банках: задачи, методики и эффективность использования", слушатели которого могли активно участвовать в дискуссиях.

Версия для печати