IBM представила пакет продуктов Elastic Storage для реализации технологии программно-управляемого хранения данных (Software-Defined Storage, SDS), которая с помощью виртуализации позволяет отделить аппаратную часть СХД от программной части и тем самым существенно сократить затраты.

Elastic Storage, разработанный подразделением IBM Research Labs, нацелен на обработку больших данных (Big Data), которые поступают от различных устройств, сенсоров, бизнес-процессов и социальных сетей в постоянно возрастающих объемах. Сейчас сегмент Big Data является одним из самых «горячих» в ИТ-отрасли: по прогнозу Transparency Market Research, к 2018-му мировой рынок Big Data вырастет до 48,3 млрд. долл.

Технология SDS представляет собой один из способов решения проблемы Big Data. Это — новое поле, которое активно осваивают как стартапы, так и ведущие игроки. Например, недавно компания EMC представила платформу ViPR, предназначенную для реализации SDS.

Теперь примеру EMC последовала и IBM. Основная идея этих новинок состоит в обеспечении доступа к данным, хранящимся в распределенных корпоративных системах, находящимся в различных местах и записанным на разных носителях. Для этого используется технология виртуализации, позволяющая интерпретировать массивы хранения как общие ресурсы, которые можно разделять на виртуальные системы и использовать в соответствии с требованиями приложений.

Elastic Storage позволяет автоматически перемещать редко используемые данные на менее дорогое запоминающее оборудование, предоставляя наиболее востребованной информации самые быстродействующие и дорогие системы, такие как флэш-память. По оценке IBM, такое перемещение, реализуемое с помощью заранее заданных правил и анализа в реальном времени, позволяет сократить затраты на хранение до 90%.

Решение может работать с любыми системами хранения, поддерживает протокол OpenStack, позволяя обращаться к данным, записанным в частных и публичных облаках, а также открытое ПО для распределённой обработки больших массивов данных Hadoop и стандарт POSIX.

В основе Elastic Storage лежит технология, использованная в суперкомпьютере Watson. Этой машине удалось в 2011-м обыграть в американской телевизионной викторине Jeopardy живых людей благодаря способности быстро обращаться к 200 млн. страниц (около 5 Тб) структурированных и неструктурированных данных, включая всю Wikipedia.

В последнее время IBM старается коммерциализировать Watson. Видимо выделение одной из технологий, использованных в этом суперкомпьютере, в продукт Elastic Storage является одним из шагов в этом направлении.

Базу Elastic Storage составляет разработанная IBM глобальная файловая система, которая обеспечивает онлайновое управление хранением, масштабируемый доступ и интегрированные инструменты администрирования данных, способные оперировать огромными объемами информации и миллиардами файлов. Так, IBM Research Labs продемонстрировала способность Elastic Storage сканировать 10 млрд. файлов на одном кластере за 43 мин.

Сначала IBM выпустит Elastic Storage в качестве программного продукта, а затем, ближе к концу года, и в виде облачного сервиса на своей платформе SoftLayer.