Стандарт NVMe позволил оборудовать ЦОДы сверхбыстрыми флэш-хранилищами, но чтобы обеспечить быстрый доступ и минимальные задержки для работы с распределенными хранилищами SAN и NAS, им, по мнению вице-президента Gartner по исследованиям Джулии Палмер, требуется другой стандарт — NVMe-oF, сообщает портал ComputerWeekly.

Прошло почти десять лет с момента, когда рабочая группа NVM Express выпустила первую версию стандарта NVMe. С тех пор эта технология стала все более распространенным интерфейсом для хранилищ на базе SSD. Но сами по себе возможности NVMe несколько ограничены, поскольку такое соединение устройств лучше всего подходит для внутрисерверного или непосредственно подключенного (DAS) хранилища. Современные реалии таковы, что предприятиям необходимо беспрепятственно подключать флэш-хранилища к сети — это позволит существенно повысить производительность, в том числе за счет замены SAN-технологии с ее акцентом на традиционные дисковые подсистемы, такие как iSCSI и Fibre Channel. Именно на это нацелена технология NVMe-over-fabrics (NVMe-oF).

Для работы NVMe применяется шина PCI Express, а не более старые интерфейсы SATA и SAS, предназначенные для HDD, что устраняет большую часть узких мест между процессором и хранилищем. Высокий показатель IOPS, низкие задержки и параллельная архитектура с несколькими каналами, связывающими процессор и флэш-память, делают NVMe очевидным выбором. Однако ключевым моментом при развертывании корпоративных хранилищ является организация к ним разделяемого доступа. Сегодня эту задачу пытаются решить при помощи NVMe-oF.

NVMe-over-Fabrics охватывает широкий спектр технологий, каждая из которых предназначена для разных рабочих нагрузок и вариантов применения, а также предлагает различные преимущества в плане повышения производительности. Практическая ценность NVMe-oF зависит от существующей инфраструктуры предприятия и используемых им протоколов, а также от того, стоит ли для повышения производительности хранилища обновлять что-то одно из них или и то, и другое.

Схема работы NVMe-oF состоит в том, что он упаковывает команды NVMe в один из нескольких сетевых протоколов. К ним относятся Fibre Channel, iWARP, RDMA over Converged Ethernet (RoCE), Infiniband и с недавних пор TCP. Заявленная некоторыми поставщиками СХД скорость передачи данных по Infiniband и Ethernet составляет до 100 Гбит/с; Fibre Channel обычно работает медленнее — до 32 Гбит/с. Основные недостатки NVMe-oF — сложность и стоимость. Чтобы извлечь из него выгоду, предприятиям придется закупать новое оборудование — сети и СХД.

Эта технология относительно новая, и она предназначена для поддержки высокопроизводительных приложений, которые включают искусственный интеллект (ИИ) и машинное обучение (МО), крупномасштабную бизнес-аналитику и чувствительные ко времени обработки программы с большим объемом данных в таких областях, как финансовые услуги. «В целом внедрение NVMe-oF предприятиями можно назвать умеренным, — считает Джулия Палмер. — Препятствиями для ее широкого внедрения в настоящее время являются сложность и стоимость технологии. В ближайшем будущем избавиться от них не удастся».

По ее словам, сегодня NVMe-oF может применяться для различных высокопроизводительные рабочих нагрузок — ИИ/МО, высоконагруженные вычисления для обработки резидентных БД (in-memory database) или транзакций, но пока что большинство компаний не планируют быстрый переход на сквозную архитектуру NVMe.

Производительность

Производительность — это первая и главная причина для внедрения NVMe-over-Fabrics. Установка компаниями в ЦОДы флэш-хранилищ помогает ускорить рабочие процессы, но если этого не происходит, они должны понимать: их слабым местом является производительность сети, а не скорость чтения-записи накопителей. NVMe устранила одну из основных проблем в системе хранения, обеспечив ей низкую задержку при обработке данных, высокий IOPS и возможность параллельного чтения и записи из хранилища, чего трудно достичь с помощью HDD.

NVMe-oF привносит высокую производительность в систему хранения совместно используемых данных. Вдобавок ко всему эта технология дает и некоторые другие преимущества, к примеру, возможности масштабирования (поддержка тысяч устройств), создания несколько путей между инициатором хоста NVMe и хранилищем, а также поддержки нескольких хостов. В результате получаются большие, быстрые и гибкие системы, способные справляться с самыми требовательными вычислительными задачами, если только эта мощность не упирается в пропускную способность сети.

Протоколы

NVMe-oF — гибкий стандарт. Поскольку он поддерживает ряд сетевых архитектур, CIO могут повторно задействовать часть своих существующих SAN-ресурсов либо непосредственно, либо посредством апгрейда. NVMe-oF обладает широкой отраслевой поддержкой, что открывает путь поставщикам к этой технологии.

Системы, работающие на базе протокола RDMA, бывают двух версий: RDMA over Converged Ethernet и Internet Wide Area RDMA Protocol (iWARP), который осуществляет подключение по Ethernet или InfiniBand. Как правило, чтобы обеспечить максимальную производительность сети, RDMA обычно разворачивают с нуля. В то же время протокол Fibre Channel Gen 6 поддерживает NVMe-over-FC, а также программно-определяемые хранилища.

Новейший вариант протокола NVMe — NVMe-over-TCP — раскрывает потенциал любой достаточно быстрой сети Ethernet. Таким образом, его применение является логически правильным для организаций, использующих хранилище iSCSI SAN. По словам Палмер, NVMe-over-TCP откроет путь для массового внедрения NVMe-oF. Но, предупреждает она, пока что эта технология не пользуется большой популярностью у поставщиков.

Использование существующей инфраструктуры

Как уже говорилось, большинство систем NVMe-oF на базе RDMA потребуется устанавливать с нуля, но гибкость NVMe позволяет рассмотреть и другие варианты. Более простым путем для организации хранилища NVMe может стать обновление Fibre Channel: системы Gen6 FC способны сосуществовать с NVMe-oF при условии, что HBA имеют скорость не менее 16 Гбит/с (предпочтительно — 32 Гбит/с), и что целевые устройства хранения поддерживают протокол NVMe-oF. Отраслевая организация FCIA, которая занимается продвижением протокола Fibre Channel, подталкивает поставщиков к созданию устройств, которые могут поддерживать HDD, SSD и NVMe от одного адаптера. NVMe-over-TCP обещает быть еще более гибким, чем Fibre Channel. Что более важно, его применение потребует минимального обновления существующей инфраструктуры локальной сети Ethernet, если сетевые коммутаторы и контроллеры обладают достаточной производительностью.

Гибкость развертывания NVMe-oF

Гибкость NVMe-oF связана с тем, что у него имеется широкая отраслевая поддержка, а его стандартные компоненты — NVMe-подключаемое флэш-хранилище, Fibre Channel, Infiniband и TCP — хорошо знакомы сетевым администраторам. К этому стоит приплюсовать программно-определяемое хранилище, которое может работать по протоколу NVMe-oF в связке с NVMe-хранилищем и которое можно задействовать в конфигурациях NAS, SAN и DAS, что позволит ИТ-командам сократить количество поставщиков СХД и, возможно, поставщиков сетевого оборудования. Однако там, где важна абсолютная производительность, CIO могут выбрать RDMA, правда, при этом им придется пожертвовать масштабируемостью.

NVMe-oF: варианты применения

Варианты применения NVMe-oF зависят от бюджета. При этом нужно иметь в виду, что от перехода на NVMe выиграют не все рабочих нагрузки. Стоимость NVMe-oF и стоимость перепроектирования систем для его поддержки — вот что не позволяет вывести его за границы области, где производительность имеет решающее значение. В первую очередь это рабочие нагрузки для высокопроизводительных вычислений (HPC), ИИ и МО, а также аналитика, в особенности новые аналитические платформы Splunk, Tableau и MongoDB. Помимо этого NVMe-oF набирает популярность в среде DevOps.

Производительность NVMe-oF такова, что разрыв между сетевой СХД и флэш-хранилищем типа DAS сокращается и, безусловно, находится в рамках требований к производительности корпоративных приложений. Адаптируемость NVMe-oF позволяет ИТ-командам начинать с малого — с инвестиций в размере менее 100 тыс. долл. «Большинство поставщиков массивов хранения уже предлагают SSD-массивы с внутренним NVMe-хранилищем. В течение следующих 12 месяцев все большее число поставщиков инфраструктуры будет предлагать поддержку подключения NVMe-oF для вычислительных узлов», — отмечает Палмер.

Минусом NVMe-oF является то, что он имеет общие недостатки с базовой архитектурой NVMe на основе флэш-памяти. Чтобы учесть его характеристики, для него нужно писать или переписывать ПО, и не в последнюю очередь потому, что производительность флэш-памяти со временем может ухудшиться. Однако с учетом того, что NVMe-хранилища широко применяются на корпоративных серверах, этот недостаток вряд ли можно рассматривать как критический, тем более, что большинство поставщиков и ИТ-команд с ним успешно справляются.