Нечасто специалисты по системам хранения данных могут заявить, что находятся на переднем крае развития отрасли, но сейчас как раз один из таких моментов. Говорим ли мы об облачных технологиях, виртуализации или больших данных, внешняя память обязательно будет там присутствовать в качестве важнейшего компонента самых “горячих” из сегодняшних трендов развития индустрии. ИТ-эксперты согласны, что эти новые технологии позволили поставщикам систем внешней памяти преодолеть эпоху трудных в интеграции хранилищ информации, делавших получение правильных данных серьезной проблемой.

Новое поколение гибких технологий хранения информации на внешних носителях помогает организациям управлять постоянно растущими потоками данных и предоставлять данные пользователям.

“Это так замечательно — видеть, как все части собираются в единое целое, — заявил Грег Шульц, старший аналитик консультационной компании Server and StorageIO. — Когда-то они были соединены, но в какой-то момент оказались разделенными на части”.

Ниже излагаются три истории успешного использования организациями преимуществ инновационных систем хранения — в облаке, в созданной с помощью программных средств виртуальной среде и в среде работы с большими данными. Во всех случаях целью внедрения было использование данных предельно эффективным образом для достижения максимальной гибкости и конкурентоспособности.

Облачная система хранения данных

Строительная фирма Weitz (г. Де-Мойнс, шт. Айова), подобно многим другим компаниям, в течение последних лет столкнулась со взрывным ростом запросов на организацию мобильного доступа к данным. Однако все попытки компании удовлетворить этот вал запросов лишь подчеркивали недостатки, которые было необходимо устранить: устаревшая система управления документами была не в состоянии решить задачу организации работы с файлами, размещенными на мобильных устройствах и планшетных компьютерах.

Это подстегнуло многочисленных мобильных сотрудников компании к использованию потребительского облачного сервиса Dropbox, обеспечивающего быстрый доступ к копиям фотографий, строительных чертежей и планов, а также к виртуальным моделям через специализированные мобильные приложения. Это, в свою очередь, привело к новой проблеме — наличию большого числа версий одних и тех же документов, разбросанных по различным аккаунтам в Dropbox, и абсолютно неконтролируемых компанией. Эта ситуация создавала для Weitz серьезную проблему при поиске необходимых документов в случае возможных судебных разбирательств. “Нам было необходимо найти некое решение, предлагающее такой же объем функциональности, но обеспечивающее нам полный контроль над хранением данных”, — рассказала ИТ-директор компании Кармин Бебкок.

В начале 2012 г. Weitz начала рассматривать возможные варианты действий и быстро сфокусировала свое внимание на облачном провайдере внешней памяти Box. В марте она провела тестирование облачного сервиса в рамках четырех проектов “proof-of-concept”, изучая возможности совместного доступа дизайнеров и строительных бригад к очень большим файлам со строительной документацией.

Тестирование прошло настолько успешно, что компания немедленно приобрела лицензию на 50 пользователей, а затем в течение трех месяцев расширила их число до 180. Успешное внедрение новой технологии подтолкнуло Weitz к заключению корпоративного лицензионного соглашения на 450 пользователей, которое также позволяло компании предоставлять неограниченный доступ к своей документации внешним пользователям — субподрядчикам и заказчикам.

Первоначально планировалось, что применение сервиса Box будет ограничено размещением информации, связанной с текущими проектами, однако от этой стратегии пришлось отказаться под давлением пользователей. “Мы собирались хранить информацию о наших предыдущих проектах в нашем центре обработки данных (ЦОДе) и не затевать трудоемкий процесс их перевода в облако, — продолжила Бебкок. — Однако мы стали получать запросы от рабочих групп, утверждающих, что им необходима эта информация”. В результате Бебкок и ее команда проводят постепенную миграцию примерно 4 Тб данных из устаревшей системы управления документами [в облачный сервис хранения информации]. При этом, по данным сервиса Box, независимо от этой миграции объем размещаемых компанией в облаке корпоративных данных уже сейчас растет примерно на 500 Мб в день.

Бебкок считает, что сейчас сложно предсказать, какие еще типы данных компания может в какой-то момент выложить в облако, но одно сегодня неоспоримо: “Для любой системы, которую мы будем рассматривать в качестве замены используемой сейчас в компании, ключевым условием приобретения будет возможность ее интеграции с сервисом Box”. Применение облачных сервисов хранения данных позволит компании Weitz мгновенно обеспечить (или прекратить) доступ к данным в случае возникновения соответствующей потребности у бизнеса.

Программно конфигурируемая система хранения

Планы регионального банка Washington Trust Bank (г. Спокан, шт. Вашингтон) по развертыванию инфраструктуры виртуальных рабочих мест (virtual desktop infrastructure, VDI) в рамках корпоративной программы перехода на Windows 7 имели казавшуюся целесообразной практическую часть — банк был должен поддерживать VDI-инфраструктуру, используя существующую на тот момент физическую систему хранения данных.

Зарезервировав в своей физической системе хранения объем 5 Тб для примерно 450 сотрудников, планируемых к переводу на работу с VDI-инфраструктурой, банк имел огромное пространство для размещения данных. Однако уже достаточно скоро обнаружилось, что его система хранения не обладает требуемыми характеристиками ввода-вывода данных — недостаток, исправление которого могло бы потребовать дополнительных расходов на закупку оборудования в размере 100 тыс. долл., рассказал Крис Грин, вице-президент банка по ИТ-инфраструктуре. Повышение расходов более чем на 200 долл. на пользователя для проекта с общим бюджетом от 600 до 700 долл. на пользователя не представлялось возможным. “Я думал, это может вообще привести к остановке проекта”, — сказал Грин.

Поиски в сети Интернет привели Грина к программным продуктам компании Atlantis Computing, позволяющим выполнять оптимизацию физических систем хранения данных для поддержки виртуальных инфраструктур. После того как тестирование ПО этой компании показало значительное сокращение объемов вычислительной нагрузки, проходившей через новую виртуальную инфраструктуру банка, Washington Trust договорился о приобретении лицензии на 450 пользователей и запустил проект в промышленную эксплуатацию. Банк немедленно отметил снижение объема операций ввода-вывода в секунду на 80%, что повлекло 50-процентное снижение нагрузки на процессоры банковской системы хранения данных.

В результате Washington Trust сегодня имеет развернутую VDI-инфраструктуру, которая работает быстрее и эффективнее. Банк также смог высвободить большой объем внешней памяти для работы других систем. Дополнительные затраты на реализацию проекта составили всего 75 долл. на пользователя, или около 30% от возможных расходов на закупку оборудования, необходимого для повышения характеристик физической системы хранения. “Средства, которые мы смогли сэкономить, позволяют повысить прибыльность проекта либо могут быть использованы для приобретения других продуктов и технологий, — заявил Грин. — Наши инженеры теперь могут уделять больше времени работе с бизнес-подразделениями для решения их задач вместо того, чтобы заниматься обслуживанием всех этих рабочих станций”.

Система хранения, оптимизированная для больших данных

Стремительное наступление эры больших данных вынудило множество компаний, работающих с огромными объемами информации, оптимизировать свою инфраструктуру хранения, чтобы справиться с объемом, разнообразием и скоростью поступления собираемых данных. В то же время есть компании, такие как Университет Северного Техаса (University of North Texas, г. Даллас), которые невольно готовили себя к работе с большими данными еще до того, как возникло это понятие.

Еще в начале 2007 г. этот огромный университет завершил миграцию с Novell GroupWise на сетевую архитектуру Microsoft, в том числе на Microsoft Exchange, и развернул ERP-систему PeopleSoft на основе новых баз данных Oracle в качестве бэк-офиса. Эти шаги привели к увеличению требований университета к объемам используемых систем хранения данных более чем в два раза — с 14 Тб до почти 30 Тб. Чтобы учесть этот рост, бывший довольно значительным для того времени, могли потребоваться огромные вложения в приобретение дополнительного оборудования для увеличения возможностей системы хранения, заметил Монти Слейтон, ИТ-директор Университета.

Причем речь шла не просто об увеличении пространства для хранения данных, необходимых Университету. Его система хранения использовала на тот момент один класс высокопроизводительных жестких дисков, спроектированных для хранения часто используемой информации. В системе отсутствовали возможности создания многоуровневой иерархии данных, которая бы позволяла перемещать более старые или редко используемые данные на менее дорогие и быстрые носители информации. “В той схеме не было уделено достаточно внимания технологии хранения устаревающей информации”, — отметил Слейтон.

В этой ситуации Университет решил инвестировать в платформу хранения данных, обладающую потенциалом дальнейшего роста, соответственно ожидаемому взрывному увеличению объемов данных. В качестве такой технологии были выбраны дисковые массивы компании Compellent Technologies (позже приобретенной корпорацией Dell), предлагающие помимо прочего возможность введения уровней данных и перемещения данных между уровнями, например соответственно частоте их использования. Время принятия решения было выбрано чрезвычайно удачно, поскольку прогнозируемый экспоненциальный рост данных действительно состоялся, так как число студентов к осени 2012 г. выросло почти до 36 тыс.

Кроме того, новые нормативы регулирующих органов предполагали увеличение длительности обязательного хранения Университетом данных о студентах и преподавателях. Наконец, новые категории неструктурированных данных, такие как данные социальных сетей, выдвинули дополнительные требования к ресурсам системы внешней памяти. К тому же Университет открыл новый кампус в Южном Далласе, что вызвало еще большую потребность в доступных объемах хранения.

Но действительно серьезным испытанием для университетской системы хранения данных стал резкий рост объемов использования видеоматериалов. В частности, быстро разрасталась коллекция видеозаписей (в высоком разрешении) тренировок и соревнований университетской спортивной команды, повысилась роль видеоматериалов в университетской маркетинговой компании. В итоге растущая практика применения видео неуклонно повышала требования каждого департамента к доступному ему объему хранения. “Число файлов и плотность записи росли в геометрической последовательности, — рассказал Слейтон. — Редкий случай, когда кто-либо запрашивает для своих данных объем внешней памяти менее 1 Тб”.

Растущее разнообразие и объем данных стали серьезной проверкой для установленных в Университете дисковых массивов Compellent. В течение нескольких лет после первоначального развертывания Университет установил более быстрые и производительные контроллеры, ускорил работу волоконно-оптических сетевых интерфейсов системы хранения, увеличил количество и объемы памяти используемых дисковых массивов. Сегодня университет управляет многоуровневой системой хранения данных объемом более 2 Пб. Примерно 80% этих данных находится на третьем уровне долговременного хранения, в то время как всего 5% данных располагается на высокопроизводительных жестких дисках первого уровня.

Хотя ситуация с данными в Университете не в полной мере соответствует определению больших данных, сотрудники ИТ-департамента ее характеризуют как “взрывной, постоянно растущий рост информации”. “Для меня, — сказал Слейтон, — это явления одного порядка”.