Как EMC будет управляться с большими объемами данных

Изложение общей стратегии движения EMC в облачное будущее на майской конференции EMC World 2011 было подкреплено рядом объявлений о конкретных шагах в виде выпуска новых продуктов и услуг, а также маркетинговых программ. Здесь мы представим только наиболее важные, на наш взгляд, объявленные решения и технологии.

Развитие Symmetrix VMAX

В этом году, до майской конференции, EMC уже представила более 50 новых функций Symmetrix VMAX, что, по мнению корпорации, в значительной степени способствовало росту продаж систем хранения high-end компании (в I квартале 2011-го на 25% по сравнению с аналогичным прошлогодним периодом), а на самой EMC World 2011 список новых функциональных возможностей Symmetrix VMAX продолжил расширяться. Так, было объявлено о реализации встроенной поддержки перспективного протокола конвергированных сетей Fibre Channel over Ethernet (FCoE), позволяющего построить единую сеть для развертывания облачной инфраструктуры. Усилен функционал средства Federated Live Migration (FLM), обеспечивающего переход со старых систем хранения на новые. Сейчас благодаря поддержке DMP (Dynamic Multipathing) FLM может шире использоваться в разных средах, обеспечивая миграцию без прерывания работы приложений и минимизируя временные затрат на выполнение этой операции. Повышение безопасности реализовано за счет появившейся поддержки внешних серверов при использовании RSA Data Protection Manager для Symmetrix VMAX D@RE (шифрование data-at-rest).

Самая большая файловая система

Заметным анонсом на EMC World 2011 стало объявление о появлении самой большой в мире (по оценке EMC) единой файловой системы на базе новой аппаратной платформы EMC Isilon IQ 108NL. За счет использования дисков корпоративного класса Hitachi Ultrastar емкостью 3 Тб в узлах высотой 4U она масштабируется до 15 Пб. В дополнение к этому EMC также представила новое прикладное ПО для защиты информации Isilon SmartLock, реализующее надежную защиту больших объемов данных. Оно гарантирует их безопасность и целостность в течение всего жизненного цикла: от создания и до записи в архив. По мнению EMC, cочетание нового продукта Isilon NL-Series с недавно объявленной ОС OneFS 6.5 и оборудованием Isilon S200 и X200 предоставляет корпоративным заказчикам решение для построения всеобъемлющей платформы хранения больших объемов данных.

Средства анализа больших объемов данных

Еще одна важная новость конференции — представление новой версии системы EMC Greenplum HD, предназначенной для аналитической обработки гигантских массивов информации. В ее основе лежат технологии компании Greenplum (создателя одной из самых перспективных СУБД для больших хранилищ данных), которую EMC купила летом 2010-го. В октябре прошлого года был выпущен первый вариант продуктов под маркой EMC, и вот теперь появился второй, в названии которого добавилось HD. Главным новшеством EMC Greenplum HD стало объединение EMC Greenplum Database с интегрированной средой Apache Hadoop.

Среда с открытыми кодами Hadoop создана в проекте Apache для анализа больших объемов данных. В ее основе лежит технология MapReduce, позволяющая адресоваться сразу ко всей информации без применения индексации, что очень важно при работе с гигантскими объемами распределенных данных. Hadoop работает с большим числом источников данных (узлов), каждых из которых может действовать относительно медленно, но суммарная производительность оказывается достаточно высокой. В этой системе используется файловая система Hadoop Distributed File System (HDFS). В целом интеграция EMC Greenplum Database с Apache Hadoop позволяет значительно расширить объемы анализируемых данных, реализуя возможность получения информации из облаков и выполняя обработку как структурированной, так и неструктурированной информации.

Новый набор программных средств EMC Greenplum HD доступен в трех вариантах:

• EMC Greenplum HD Community Edition полностью сертифицирована на совместимость с открытым ПО и поддерживает стек Apache Hadoop, который состоит из HDFS, MapReduce, Zookeeper, Hive и HBase. EMC Greenplum обеспечивает отказоустойчивость для Name Node и Job Tracker (именно эти два компонента являются единичными точками отказа стандартных внедрений Hadoop);
• EMC Greenplum HD Enterprise Edition на 100% совместима по интерфейсам со стеком Apache Hadoop, обеспечивая при этом “бесшовную” переносимость приложений и в то же время реализуя расширенные функции, востребованные в больших организациях, в том числе функции управления данными, включая мгновенные снимки и репликацию на большие расстояния, простую загрузку и доступ к данным с помощью “родного” интерфейса Network File System, полную управляемость, включая простое развертывание кластера, автоматическое распознавание сбоев и оповещение о них, управление несколькими площадками и функцию обновления ролей (rolling upgrades). По оценкам EMC, все этом позволяет повысить производительность системы в 2—5 раз по сравнению со стандартной версией Apache Hadoop;
• EMC Greenplum HD Data Computing Appliance (DCA) — специализированный вычислительный комплекс, включающий EMC Greenplum HD Enterprise Edition и весь набор необходимых аппаратных средств. Отметим, что подобные программно-аппаратные системы, использующие дополнительные уровни предварительной обработки и представления информации, сегодня создают многие ведущие ИТ-поставщики (IBM, HP, SAP, Oracle, Teradata и Microsoft). При этом такие DCA в архитектурном плане отличаются по уровню специализации оборудования. В случае Greenplum HD DCA применяется наиболее простой вариант, в котором аппаратное обеспечение строится на базе стандартных средств.

В дополнение к продуктам EMC Greenplum HD подразделение EMC Global Services разработало интегрированное семейство профессиональных сервисов, поддержки и обучения, чтобы помочь клиентам ускорить внедрение хранилищ данных и бизнес-аналитики с помощью этих средств. Планируется, что все три варианта EMC Greenplum HD будут доступны в III квартале 2011 г.

EMC Atmos 2.0

Представленная на конференция система EMC Atmos 2.0 — это новое поколение облачной платформы хранения EMC с глобальным доступом. По оценкам EMC, она работает в пять раз быстрее и на 65% эффективнее, чем ее предыдущий вариант. Ее гибкая архитектура легко адаптируется к работе в виртуализованной среде или внутри специализированных недорогих аппаратных платформ EMC с высокой плотностью размещения емкости. Среди новшеств Atmos 2.0 нужно отметить возможность хранения отдельных сегментов объекта вместо всего объекта (это обеспечивает высокую надежность защиты данных при распределенном хранении), прозрачный доступ к облаку с помощью ПО Atmos GeoDrive, а также новый EMC Atmos Software Development Kit (SDK), который упрощает интеграцию приложений и реализует поддержку Apple iOS и интегрированных приложений EMC Centera с помощью Centera/XAM. Кроме того, Atmos обеспечит совместимость для клиентов Amazon S3. Atmos 2.0 и GeoDrive будут доступны во II квартале этого года, а бета-тестирование API взаимодействия с клиентами Amazon S3 начнется в III квартале.

Предложения EMC OnDemand и модель VCUBE

В условия стремительного роста объемов данных акценты сейчас явно смещаются от вопросов хранения информации в сторону ее использования. В этом плане стоит обратить внимание на представленный на конференции программный комплекс EMC OnDemand (см. рисунок), в котором очень четко видны базовые компоненты — виртуализация (VMware) и обеспечение безопасности (RSA). Предложения EMC OnDemand будут доступны для развертывания как в частном корпоративном облаке, так и в публичных облаках через сервис-провайдеров. В число первых продуктов, использующих данную технологию, входят EMC Captiva для корпоративного ввода, EMC Document Sciences для интеллектуального управления коммуникациями с клиентами, CenterStage для управления содержанием и совместной работы и базовое хранилище содержания Documentum.

Ключевой технологической инновацией EMC OnDemand является использование архитектуры VCUBE — новой модели развертывания гибридного облака, реализованной в виде динамически управляемого контейнера, включающего в себя несколько прикладных сервисов и полный набор необходимых инфраструктурных программных компонентов, в том числе среды исполнения и инструменты управления. Эта архитектурная модель была впервые предложена на рынке компанией International Computerware в январе 2010 г. с ориентацией на использование виртуализационных технологий VMware, и вот теперь она взята на вооружение корпорацией EMC. Ключевое отличие от известной модели виртуального аплаенса (сконфигурированной виртуальной машины, включающей ОС и одно приложение) заключается в том, что VCUBE реализует модель развертывания на аппаратной инфраструктуре дата-центра множества приложений в виде виртуальных машин, функционирующих в среде vSphere. Главным моментом тут является то, что VCUBE позволяет реализовать вариант частного облака (т. е. систему, входящую в контур ответственности заказчика) на внешних площадках хостинг-провайдеров.

В случае EMC OnDemand контейнеры VCUBE могут инкапсулировать одно или несколько решений EMC или партнеров, а также технологии VMware, включая виртуализацию десктопов VMware View, VMware vCloud Director для создания пула виртуальных ресурсов виртуальной инфраструктуры (vApps) VMware vShield, обеспечивающей безопасность виртуальной среды, и VMware vSphere как базовую платформу облачной инфраструктуры. Используя сертифицированные аппаратные инфраструктуры (такие как VCE Vblock Infrastructure Platform), приложения можно без изменений переносить с площадок внешнего хостинга в дата-центры заказчика.

Каждым компонентом такой системы является VCUBE Manager, централизованный инструмент для решения таких задач администрирования, как обновление ПО, LDAP-интеграция, сервисы безопасной интеграции и управление средой пользователя. Это средство будет включать в себя набор решений RSA для контроля и защиты с целью создания платформы с высоким уровнем безопасности и соответствия нормативным требованиям. Предложения EMC OnDemand поставляются полностью укомплектованными операционными системами и серверами приложений и преднастроены соответствующими vApps для тестирования, разработки и эксплуатации. vApps обеспечивают интеллектуальную и скоординированную миграцию из тестовой в рабочую среду. Весь этот набор средств будет доступен заказчикам в виде внешних сервисов, предлагаемых через партнеров уровня EMC Service Provider.