Программно-определяемое хранилище данных — очередной шаг в эволюции ИТ

Среди многочисленных анонсов, сделанных на прошедшей в начале мая в Лас-Вегасе конференции EMC World 2013, безусловно, центральное место заняло объявление о выпуске новой платформы EMC ViPR для программно-определяемых систем хранения данных (СХД). По мнению специалистов EMC, в целом поддержанном независимыми отраслевыми экспертами, речь идет о создании технологий и средств на их основе, которые должны вывести вопросы управления информацией и реализации современных облачных ИТ-инфраструктур на качественно новый уровень. По сути, выпуск EMC ViPR развивает и дополняет идею программно-определяемых дата-центров, формируя дополнительные уровни абстракции между приложениями, данными и аппаратными устройствами хранения информации. Теперь появляется возможность построить виртуальную инфраструктуру хранения данных без привлечения огромных коллективов ИТ-специалистов, при этом открытая расширяемая архитектура позволяет использовать имеющиеся ИТ-активы, одновременно закладывая основу для инфраструктуры будущего.

Исходные предпосылки создания EMC ViPR

За последние полтора десятилетия благодаря виртуализации создан качественно новый изолирующий слой между ПО и аппаратными средствами, превративший приложения, серверы и сети в программные абстракции и на основе такого преобразования позволивший создавать адаптивные и гибкие центры обработки данных. Набирающая популярность концепция “программно-определяемого центра обработки данных” (software-defined datacenter) предусматривает абстрагирование от аппаратной части абсолютно всех компонентов ЦОДа, что делает реальностью предоставление ИТ-ресуров как настраиваемых услуг по требованию. Однако на пути этой идеи в жизнь возникает проблема: существующая в настоящее время инфраструктура хранения данных тормозит переход к полностью виртуализированному ЦОДу. В отличие от приложений, серверов и сетей ресурсы хранения данных, а вместе с ними их ценное содержимое зачастую остаются привязанными к конкретному оборудованию.

Основная причина такого отставания СХД по уровню виртуализации от серверов и сетей заключается в их исторической разнородности. Число аппаратных платформ хранения данных и поддерживающих их программных систем намного больше, чем количество серверных, клиентских или сетевых платформ. Это наследство копилось десятилетиями, пополняясь каждый раз, когда поставщики оборудования сталкивались с новыми рабочими нагрузками, которые требовали уникальных сочетаний производительности и защиты. Для каждого ИТ-проекта требовался свой специализированный массив хранения. Не удивительно, что в этой ситуации администраторы СХД превратились в управляющих такими хранилищами, тратя на них все свое время, вместо того чтобы заниматься оптимизацией задач хранения данных в интересах бизнеса.

Для обеспечения прогресса в этой сфере (в этом заинтересованы и заказчики, и поставщики), чтобы разорвать этот порочный круг и использовать в полной мере концепцию программно-определяемого ЦОД, нужно кардинально изменить подход к созданию инфраструктуры хранения на основе новых архитектурных идей и технологий.

Общие подходы к решению проблемы

На первый взгляд, простым решением проблемы разнородности СХД может быть использование некоторой единой универсальной программно-аппаратной платформы, которая должна заменить существующий “зоопарк” в корпоративных системах. Собственно, почти вся история корпоративных ИТ состоит из череды “крестовых подходов” против “зоопарков”, которые при всех локальных успехах сторонников унификации все же заканчиваются победой “зоопарков”. Конечно, бороться за унификацию нужно постоянно. Но при этом надо отчетливо понимать ограниченность этих методов. История ИТ однозначно говорит: мир ИТ по сути своей является гетерогенным, причем именно эта неоднородность (что на уровне ИТ-бизнеса определяется рыночной конкуренцией) — важный внутренний стимул развития ИТ. Решение проблемы гетерогенности принципиально определяется созданием механизмов интероперабельности, обеспечивающих взаимодействие компонентов неоднородной среды.

Если бы заказчики и поставщики услуг могли централизованно управлять разнородными рабочими нагрузками и предложить ту же степень удобства, что и сервисы общедоступных облаков, они бы превратили все недостатки гетерогенности в долгосрочные конкурентные преимущества. Но для реализации этой идеи новая концепция хранения данных должна соответствовать целому ряду непростых требований:

• среда хранения должна быть спроектирована специально для виртуального ЦОДа и облака;
• инфраструктура хранения данных должна обладать соответствующим уровнем абстракции;
• типы данных и протоколы доступа должны быть отделены от аппаратного обеспечения;
• новая среда хранения должна учитывать существующие объемы данных;
• инфраструктура хранения данных должна быть достаточно простой;
• API должны быть открытыми.

Все эти задачи стояли и перед разработчиками EMC ViPR. И были успешно решены.

Программно-определяемая модель хранения данных

EMC ViPR — это программная платформа для виртуализации ресурсов хранения, которая абстрагирует их от физических массивов в общий пул виртуальных ресурсов. Такой подход позволяет гибко потреблять физические ресурсы хранения, предоставлять приложения, а также инновационные сервисы хранения и обработки данных. Кроме того, ViPR создает абстрактный уровень управления, что дает возможность централизованно управлять массивами разных производителей в одном интерфейсе.

В общих чертах, у каждого массива есть путь управления и путь передачи данных. Если не вдаваться в подробности, то путь управления отвечает за передачу политик устройствам хранения, а по пути передачи данных выполняются фактические операции чтения и записи, функционируют сервисы хранения и обработки данных. В разделении путей контроля и передачи данных как раз заключается основное отличие ViPR от предыдущих попыток виртуализировать ресурсы хранения. За счет абстрагирования уровня управления все административные операции переносятся на виртуальный уровень, что позволяет заказчикам разбивать пул виртуальных ресурсов на виртуальные массивы хранения данных и управлять ими с помощью отдельных политик. Это схоже с разбиением ресурсов сервера на несколько виртуальных машин.

Впрочем, ViPR не ограничивается одним уровнем управления, активно взаимодействуя с файловыми и блочными СХД на уровне передачи данных. Разделение путей управления и передачи данных позволяет ViPR не только централизовать задачи по выделению ресурсов и управлению данными, но и предоставляет приложениям доступ к данным по привычным файловым и блочным протоколам, вместе с тем сохраняя уникальную функциональность массивов.

Файловые и блочные контроллеры ViPR предоставляют всю функциональность физических массивов в виде виртуальных служб: можно управлять блочными томами, файловыми системами NFS, общими каталогами CIFS и расширенными функциями защиты (снимками файловой системы, клонированием и репликацией). При этом ViPR не только сохраняет доступ ко всем уникальным функциями физических массивов (чего лишены блочные ресурсы хранения в общедоступных облаках), но и дополняет ее: администраторы и разработчики могут создавать новые глобальные сервисы хранения и обработки данных, охватывая самые разнообразные массивы.

Архитектура ViPR

ViPR представляет гетерогенную среду хранения как один большой виртуальный массив и подключается к физическим массивам по адаптерам, которые похожи на драйверы устройств в ПК. С открытыми API этой платформы все поставщики, партнеры и заказчики могут создавать свои адаптеры и добавлять новые массивы. В итоге, получается самонастраивающаяся среда хранения, которая может автоматически обнаруживать и подключать большую экосистему массивов, хостов и фабрик SAN.

После добавления физического массива ViPR идентифицирует его пулы ресурсов хранения и порты. А после добавления коммутаторов Fibre Channel платформа ViPR автоматически обнаруживает сети Fibre Channel и подключается к ним. При этом она быстро подключает СХД от EMC и других производителей. В данный момент в список поддерживаемых платформ входят EMC VMAX, EMC VNX, EMC Isilon, EMC VPLEX, EMC Atmos и NetApp. В дальнейшем в этом списке появятся СХД IBM, HP, HDS и другие.

ViPR скрывает от пользователя сложные механизмы управления базовыми массивами, представляя их основные функции как сервисы хранения и обработки данных. Отличительной особенностью ViPR является то, что платформа оставляет доступными потребителям уникальные функции виртуализованных СХД . Администраторы СХД могут создавать в ViPR пулы виртуальных ресурсов хранения для поддержки заданных рабочих нагрузок приложений. При этом вместо выделения ресурсов на каком-то отдельном массиве, ViPR позволяет администраторам объединять уникальные наборы программно-аппаратных ресурсов в сервисы по хранению и обработке данных.

Глобальные сервисы по хранению и обработке данных

Программно-определяемая система хранения данных EMC во многом отличается от других платформ для виртуализации СХД своей расширяемостью: администраторы и разработчики могут создавать новые глобальные сервисы по хранению и обработке данных, объединяющие разнородные массивы и поддерживающие гибридные типы данных. Глобальные сервисы по хранению и обработке данных — это абстрактные ресурсы хранения, учитывающие тип данных (файлы, объекты, блоки или смешанные), протоколы доступа (iSCSI, NFS, REST и т. д.), а также требования к отказоустойчивости, доступности и защите (снимки файловой системы, репликация и т. д.).

Вот несколько примеров таких сервисов:

• объектно-файловая система хранения данных делает возможным хранение и обработку неструктурированных данных (в частности, изображения, видео- и аудиозаписи, онлайн-документы) в виде объектов в файловых системах хранения данных (например, в массивах EMC VNX, Isilon и NetApp) прозрачно для файловых приложений. Пользователи могут работать с объектными данными в файловых системах, применяя API Amazon S3,OpenStack Swift и EMC Atmos;
• сервисы по хранению и обработке данных на базе HDFS позволяют показать приложениям, обрабатывающим большие объемы объектных и файловых данных, где находится запрашиваемая информация и данные обрабатывает тот рабочий узел, на котором они хранятся. Таким образом, минимизируется нагрузка на опорную сеть;
• сервисы по обеспечению непрерывности бизнеса и мобильности данных. Так, виртуальный контроллер блоков EMC ViPR в сочетании с физическими блочными узлами хранения VPLEX и RecoverPoint обеспечивает непрерывность бизнеса в мировом масштабе, а также предоставляет централизованный интерфейс для управления мобильностью данных в блочных СХД VMAX и VNX.

Виртуализовав ресурсы хранения, администраторы освобождаются от ограничений, накладываемых отдельные физические массивы. Теперь, когда все ресурсы определены программно, их можно представить пользователям в едином интерфейсе как сервисы по хранению и обработке данных, на которые они могут подписываться самостоятельно. Так же можно обеспечить унифицированный доступ и к приложениям. Открытая и расширяемая платформа ViPR служит основой разработки инновационных сервисов, что позволяет ИТ-поставщикам формировать партнерскую экосистемы разработчиков и сервис-провайдеров.

Глобальные сервисы ViPR по хранению и обработке данных позволяют заказчикам выбирать, в какой платформе хранить данные. На сегодня доступны СХД EMC VNX, EMC Atmos, EMC Isilon, массивы NetApp и Amazon S3. Разные приложения теперь могут работать с одними и теми же наборами данных, предвещая конец эпохе изолированных хранилищ данных.

ViPR: простота, расширяемость и открытость

EMC ViPR — это первая платформа для виртуализации инфраструктуры хранения, которая соответствует концепции программно-определяемого центра обработки данных. Она упрощает и автоматизирует рутинные операции по администрированию и выделению ресурсов хранения за счет абстрагирования и централизации пути управления. ViPR — это расширяемая платформа, которая позволяет организациям разрабатывать новые сервисы по хранению и обработке данных, а также адаптеры для подключения дополнительных массивов. Кроме того, ViPR — это еще и открытая платформа на основе API, которая упрощает интеграцию со стеками облачных технологий, а также разработку новых сервисов и приложений по хранению и обработке данных.

СПЕЦПРОЕКТ КОМПАНИИ EMC