Big Data требует новых инфраструктурных решений

В последнее время в области ИТ произошел качественный скачок. Развитие технологий позволило людям оцифровывать весь окружающий мир, причем степень детализации очень быстро растет. Этот процесс порождает гигантские массивы данных, которые поступают от всевозможных цифровых датчиков, сенсоров, фото- и видеокамер, оборудования для научных исследований, медицинских приборов и т. д. Как справиться с этой информационной лавиной и извлечь из нее пользу? О новых инфраструктурных решениях, обеспечивающих решение этой проблемы, рассказывает Николай Зезюлинский, директор по развитию бизнеса компании ФОРС.

Проблема накопления огромного количества данных существует уже давно, но термин Big Data появился относительно недавно. Что изменилось? И что подразумевает это понятие?

Действительно, уже давно объемы данных растут быстрее, чем развиваются средства для работы с ними. И хотя технологии отвечают на возрастающие запросы, это происходит с отставанием. В эпоху дискет было непросто скопировать файл размером в 1 Гб, а сейчас это не проблема. Зато возникают другие задачи.

Например, чтобы осуществить перенос хранилища данных объемом 11 Тб, требуется больше суток для одной лишь передачи этой массы информации по стандартным каналам связи.

Проблема Big Data заключается не в способности хранить эти массивы, это так или иначе делается, а в том, способны ли мы извлечь пользу из этих данных. Ведь если мы ничего не можем с ними сделать, значит это просто цифровой мусор. А между тем их анализ может дать совершенно невероятные результаты.

К тому же принципиально изменился и подход к хранению информации. Сейчас просто невозможно собрать все данные в одном месте, а потом их анализировать. Поэтому они остаются на своих местах, а система анализирует их, выбирая из разных мест и подключая для обработки большие вычислительные мощности. Нарастают технические проблемы вокруг надежного хранения больших объемов данных, выборки из больших массивов, поиска нужных данных, их структуризации и очистки. Поэтому мы говорим о том, что требуются новые технологии, особый класс сверхпроизводительных инфраструктурных решений.

Для каких заказчиков задача обработки больших объемов данных стоит наиболее остро и с чем это связано? Какие новые требования это накладывает на функционал аналитических систем?

Сейчас информационные технологии используют все предприятия, даже малый бизнес. Но есть ряд отраслей, для которых автоматизация не просто обеспечивает удобство работы, а является основой бизнеса — например, это телеком и банки. Государственный сектор тоже сталкивается с проблемой Big Data. Ведь с появлением задачи предоставления населению услуг в электронном виде тут же появилась необходимость обработки огромных массивов информации.

Что касается функционала аналитических систем, то изменения в них связаны не с Big Data, а с переменами в способах использования таких систем. Речь идет о всепроникающей аналитике.

Раньше аналитическими системами пользовались лишь cпециалисты-аналитики, которые строили диаграммы и графики для руководства. Но сейчас функциональность практически всех аналитических системы стала такой, что с ними может работать любой человек, а не только профессионал.

К сожалению, сейчас далеко не все заказчики знают, что такие системы доступны. Требуется просветительская работа. Кроме того, в нашей стране многие предприятия все еще решают вопросы первичной автоматизации. Они с интересом смотрят на передовые аналитические системы, но необходимой для этого ИТ-инфраструктуры у них еще нет. Тем не менее, движение в сторону всепроникающей аналитики наблюдается.

Готовы ли вендоры сегодня предоставить заказчикам программно-аппаратные решения для работы с Big Data?

Да, готовы. Так, наш стратегический партнер корпорация Oracle после слияния с Sun разработала целую линейку таких продуктов. Впервые были созданы готовые вычислительные комплексы на основе специализированного программного и типового аппаратного обеспечения, оптимизированные для решения задач по обработке и хранению данных.

Сначала появилась Exadata Database Machine — машина баз данных, предназначенная для кардинального повышения производительности работы баз данных . Следующей была выпущена Exalogic Elastic Cloud, оптимизированная для достижения максимальной скорости работы приложений и развертывания частных и публичных облаков. А недавно в продажу поступила машина “больших данных” — Oracle Big Data Appliance для обработки огромных массивов неструктурированных данных.

Важно, что во всех этих продуктах в единое целое объединены серверы, устройства хранения, сетевое оборудование и программное обеспечение. Они не требуют предварительной настройки и поставляются как полностью готовый к эксплуатации и простой в управлении программно-аппаратный комплекс. По сути, это своего рода “строительные блоки” для создания ЦОДов нового поколения — инфраструктуры, необходимой для развития облачных услуг.

Уже больше года в нашей компании действует демонстрационный инженерный центр FORS ExaStack Studio, где эти системы можно не только увидеть, посмотреть, как они работают, но и протестировать на своих базах данных и приложениях.

Но, как вы отметили, все предприятия уже используют ИТ-системы. Оправдан ли отказ от работающего оборудования? Как просчитать экономическую эффективность перехода на новый класс решений?

Общий принцип обычно такой: если у вас есть исправно работающее оборудование, которое справляется с имеющимися задачами, то нет никакого смысла от него отказываться. Для перехода на что-то новое должна быть необходимость. Но когда такая необходимость появляется, возникает вопрос: на какое оборудование переходить?

Судя по нашему опыту, есть целый ряд заказчиков, которые интересуются программно-аппаратными системами, потому что старые системы не справляются с накопившимися объемами данных. Можно, конечно, наращивать вычислительные мощности, но тогда нередко оказывается, что отдельные компоненты слабо связаны и передача данных становится “узким” местом. Система должна быть хорошо сбалансированной с точки зрения распределения нагрузки.

Идея Oracle как раз и заключается в обеспечении такой сбалансированности. Системы, построенные на новых машинах, можно наращивать по мере необходимости без нарушения общей производительности всего комплекса. К тому же это — машины, разработанные на основе общепринятых стандартов, поэтому они совместимы с оборудованием других производителей.

Что касается экономической эффективности, то это зависит от того, насколько организация заинтересована в извлечении пользы из огромных массивов данных. Она несомненно будет, если с помощью более совершенных ИТ-инструментов удастся привлечь новых клиентов и удержать существующих.

Но Oracle — не единственный поставщик программно-аппаратных решений для хранения и обработки больших массивов данных. Как компания продвигает свои программно-аппаратные решения для Big Data в России?

У Oracle большая доля на российском рынке СУБД , и сейчас компания стремится использовать эту клиентскую базу, с тем, чтобы предложить программно-аппаратные решения.

При этом в России Oracle придерживается стратегии работы через партнеров. В первую очередь, именно на них ориентирован наш инженерный центр ExaStack Studio, о котором я уже упоминал. Хотя заказчики тоже могут провести тестирование своих систем на совместно работающих комплексах Exadata и Exalogic. В скором времени к ним добавится и Exalytics. Таких инженерных центров всего несколько в мире, поэтому наш ориентирован не только на Россию, но и на всю Восточную Европу.

К нам уже обратилось немало партнеров — проекты, связанные с тестированием, оптимизацией приложений и миграцией баз данных на новые системы, идут все более активно.

Но ведь другие партнеры Oracle — это ваши конкуренты. Они не опасаются приводить к вам своих клиентов?

Пока к нам в основном обращаются разработчики софта, например банковских и биллинговых систем, мы также тестировали работу приложений SAP.

Другие партнеры Oracle в чем-то — наши конкуренты, а в чем-то — партнеры и для нас тоже. Мы часто совместно участвуем в крупных проектах как члены единой команды внедрения, кто-то у кого-то может работать на субподряде, есть и другие формы сотрудничества — например, обучение. И, наконец, у нас есть собственная партнерская сеть, которая осуществляет дистрибуцию продуктов Oracle. Если у такого партнера есть свои разработки, которые он хотел бы протестировать на новом оборудовании, или у него есть заказчик, который этим оборудованием интересуется, то мы готовы предложить такую услугу на нашей площадке. Результаты иногда бывают просто ошеломляющими — за счет применения специальных алгоритмов сжатия объемы данных уменьшаются в разы, а благодаря сбалансированности системы скорость формирования отчетов возрастает многократно.

ФОРС несет издержки на создание, содержание и обслуживание этого центра. Как же это окупается?

Действительно, раньше мы не занимались поставками оборудования, и создание экспертизы по новым решениям потребовало значительных инвестиций в оборудование и специалистов. Но такие траты необходимы для продвижения принципиально новых на рынке продуктов. Сейчас мы проводим тестирование бесплатно, но какие-то другие услуги — такие, к примеру, как миграция баз данных, оптимизация приложений, последующее сопровождение систем, мы оказываем на коммерческой основе. Мы также рассчитываем на то, что партнеры Oracle будут размещать у нас заказы на поставку вычислительных комплексов. Сейчас у Oracle не предусмотрена привязка партнеров к дистрибьюторам, мы работаем на открытом рынке, и такие услуги позволяют нам дополнительно привлекать партнеров, предлагая им более выгодные условия сотрудничества.

Тем не менее главная задача инженерного центра остается прежней — ознакомление партнеров и заказчиков Oracle c возможностями и преимуществами этих систем. Мы регулярно проводим обучающие тренинги и семинары, осуществляем проекты, направленные на демонстрацию возможностей новинок для решения задач заказчиков.

Есть ли спрос на такие комплексы — в мире и в России? Кто основные заказчики — коммерческие компании или госсектор? Есть ли варианты систем для малого и среднего бизнеса?

Число заказов в России перевалило за десяток. Интерес проявляют государственные и коммерческие организации, которые занимаются обработкой больших массивов данных. И хотя вышеперечисленные системы ориентированы на крупные компании, у Oracle есть решение и для малого и среднего бизнеса — система Database Appliance. Мы уже привезли ее в Россию и установили в своем центре. Это — машина стоимостью от 50 тыс. долл., предназначенная для работы баз данных высокой готовности среднего размера. Она очень проста в установке и управлении и требует минимального обслуживания.

Общая черта этих машин заключается в том, что все они направлены, с одной стороны, на сокращение затрат на администрирование, а с другой — на повышение сбалансированности всей системы и максимально полное использование вычислительных ресурсов. Когда мощности будет не хватать, всегда можно добавить дополнительные стойки или другую машину класса Exa- — на сбалансированность системы в целом это никак не повлияет.

Не следует забывать и том, что Oracle продолжает выпускать традиционные программные продукты, которые поставляются отдельно от оборудования. У заказчиков всегда есть выбор — приобрести нужные им компоненты ИТ-инфраструктуры по отдельности или сразу готовый преднастроенный программно-аппаратный комплекс. Ведь по разным причинам не все готовы перейти на принципиально новый класс решений. У кого-то в этом пока не появилось необходимости, а где-то просто преобладают консервативные настроения.

Как вы планируете развивать новое направление, связанное с продвижением оборудования?

Мы предлагаем услуги по оптимизации, настройке и миграции приложений заказчиков при переходе на новые системы. Это сложные технические задачи, но заказчикам нет смысла создавать для их решения свою экспертизу, поскольку эти задачи одноразовые. А у нас такие проекты поставлены на поток.

СПЕЦПРОЕКТ