Система бизнес-анализа QlikView компании QlikTech, появившаяся на нашем рынке три года назад, пользуется заслуженной популярностью у отечественных заказчиков. Ее отличительные особенности — ассоциативная модель данных, позволяющая рядовым конечным пользователям анализировать информацию в различных разрезах, не прибегая к помощи ИТ-специалистов, и высокоскоростная обработка всей совокупности данных непосредственно в оперативной памяти. По словам генерального директора представительства QlikTech в СНГ Алексея Артеменко, сегодня в подотчетном ему регионе у компании более 150 заказчиков и число их ежегодно увеличивается на 80%. Тем не менее есть устойчивое мнение, что QlikView подходит в основном для решения локальных задач с относительно небольшим объемом данных. Его справедливость попыталась опровергнуть компания “Инфосистемы Джет”, ставшая в прошлом году партнером QlikTech и имеющая большой опыт работы с крупными клиентами.

Впрочем, первый проект, выполненный “Инфосистемами Джет” на основе QlikView на одном из российских предприятий группы “Danone-Юнимилк”, масштабным не назовешь. Здесь нужно было оперативно строить самые разные отчеты по эксплуатации заводского оборудования на основе информации, поставляемой MES-системой, с целью повышения эффективности его использования. К примеру, процедуры промывки поточной линии, которые производятся как с заданной периодичностью, так и при изменении вида продукции, нередко из-за ошибок планирования не согласуются друг с другом и являются причиной избыточного простоя. Проект был выполнен за шесть недель. К внедренной системе подключено десять пользователей, а анализируемый ими информационной архив содержит около 20 млн. записей.

По оценкам специалистов “Инфосистем Джет”, система корпоративного масштаба должна обеспечивать одновременную работу не менее пятисот пользователей с хранилищем, содержащим как минимум 3 млрд. записей. Способность QlikView поддерживать подобные системы с гарантированным временем отклика не более 5 секунд была проверена в серии нагрузочных тестов, о которых рассказала руководитель отдела бизнес-анализа “Инфосистем Джет” Анна Харитонова. В качестве тестовых использовались обезличенная база данных и примеры ежедневно формируемых аналитических отчетов, предоставленные одной из компаний-заказчиков. Испытания проводились на трех программно-аппаратных конфигурациях. Первая представляла собой виртуализированный (с помощью ПО VMware) однопроцессорный сервер стандартной архитектуры с ОЗУ 96 Гб, вторая — восьмипроцессорный сервер с 256 Гб памяти и третья — двухузловой кластер, включающий наряду с упомянутым восьмипроцессорным еще и четырехпроцессорный сервер с ОЗУ 128 Гб.

Как разъяснила Анна Харитонова, основная трудность была в том, что если действовать прямолинейно, то для поддержки тестируемой системы понадобится ОЗУ объемом 70 Тб, что для типичного заказчика неприемлемо. Оказалось, что при развертывании QlikView требует выделять память как на данные, так и на каждого пользователя, причем квота пользователя определенным образом связана с объемом обрабатываемых данных. Специалистам “Инфосистем Джет” удалось решить эту проблему путем сегментации базовой таблицы на множество небольших табличек, распределенных по двум слоям. Один из них содержал детализированную, а другой — агрегированную информацию.

Такой подход позволил существенно снизить потребность в оперативной памяти и получить приемлемые результаты по производительности. В частности, первая из упомянутых выше конфигураций обеспечила работу 200 пользователей с базой данных из 2 млрд. записей, вторая — 350 пользователей на 4 млрд. записей и третья — 500 пользователей на 7 млрд. записей. По мнению Анны Харитоновой, тестирование не только показало высокую масштабируемость системы QlikView, но и позволило создать методологию ее внедрения на крупных предприятиях, учитывающую специфические требования каждого заказчика в плане объема анализируемых данных, числа конкурентных пользователей и времени отклика.