СХД с использованием NVMe-протокола ускоряют передачу данных между флэш-памятью и местом их обработки. Эта статья определяет аспекты, которые следует учитывать при выборе системы хранения данных с использованием стандарта NVMe.

Все больше современных ИТ-систем задействуют возможности искусственного интеллекта (AI) и машинного обучения (ML). Работая в режиме реального времени, такие системы требуют применения твердотельной памяти, чтобы обеспечить низкую задержку и высокую пропускную способность передачи данных. Поскольку ИТ-подразделения все чаще управляют системами, использующими очень большие и быстро растущие объемы данных, компаниям вскоре понадобятся более современные и более мощные технологии хранения информации.

Технология NVMe (non-volatile memory express, энергонезависимая память, подключаемая по шине PCI Express) остается самым быстрым современным способом передачи данных из памяти к месту их обработки. Она позволяет использовать многоядерные процессоры последнего поколения с их широкими возможностями параллельной обработки информации. Протокол NVMe может ускорить работу баз данных и крупных кластеров виртуализации. Он позволяет улучшить компактность носителей. Появляется возможность использования единой общей СХД вместо того, чтобы размещать часть данных на СХД, а часть на разрозненных серверах.

В результате значительно улучшается производительность ресурсоемких приложений, замедляемых стандартной архитектурой памяти. Такое ускорение, например, гарантирует анализ данных практически в реальном времени и, как следствие, — быстрое принятие решений и эффективное ведение бизнеса. Критично оно и для сложных финансовых транзакций, где одна микросекунда может привести к убыткам или выгоде. В любом бизнес-сценарии, где скорость доступа к данным напрямую влияет на доход, применение NVMe дает большие преимущества.

Основы протокола доступа NVMe

NVMe — это интерфейсный протокол следующего поколения для ускоренной связи между процессором и флэш-памятью в системах хранения данных. NVMe был представлен в 2011 году как технология более быстрого доступа к твердотельной, то есть энергонезависимой памяти через шину PCIe (PCI Express). Использование NVMe было изначально ограничено потребительским рынком, особенно в сегменте смартфонов, и после расширилось до крупных корпоративных СХД. Позднее технология NVMe вышла на более широкий рынок B2B с решениями для хранения данных, привлекательными по цене для малых и средних компаний с высокими требованиями к обработке информации.

Для флэш-массивов корпоративного класса NVMe обеспечивает гораздо более высокую производительность, чем ранее выпущенные интерфейсы с последовательным подключением: serial attached SCSI (SAS) и более продвинутый serial advanced technology attachment (SATA), изначально созданные для жестких дисков, но все еще преобладающие даже в массивах all-flash. Скачок производительности достигается за счет того, что NVMe значительно быстрее обычного протокола хранения SAS. Новый протокол поддерживает до 64 000 параллельных очередей с 64 000 команд в очереди. Таким образом, становится возможной прямая связь с чипами на твердотельных накопителях. Подобная массово-параллельная архитектура устраняет узкие места, вызванные спецификой последовательных портов. В результате стандарт NVMe демонстрирует значительно более высокую производительность флэш-массивов.

Протокол NVMe делает флэш-массивы еще более эффективными и быстрыми по сравнению с традиционными жесткими дисками. Некоторые производители СХД направляют рынок в сторону NVMe, который должен стать основным протоколом для флэш-памяти.

Полная поддержка NVMe, без компромиссов

NVMe-массивы разных производителей очень сильно отличаются друг от друга. Некоторые производители заявляют в документации поддержку протокола NVMe, но это не всегда соответствует истине. Например, у некоторых с NVMe могут работать только NVRAM-модули, в то время как сами флэш-носители (SSD) все еще подключаться по медленному SAS-протоколу. Кроме того, большинство этих флэш-массивов почти сразу требуют масштабного обновления вплоть до покупки нового аппаратного и программного обеспечения, а также переноса данных для поддержки реального NVMe в будущем.

Большинство контроллеров в универсальных флэш-массивах используют кэширующие SSD в контроллерах, и таким образом размещают NVMe-носитель с одним портом без особой переработки. Однако системы массового хранения требуют наличия двух портов и возможности «горячей» замены, что гораздо сложнее реализовать технически. Фактически флэш-массивы на базе NVMe должны иметь модули NVRAM, подключаемых по NVMe с двумя портами и возможностью горячей замены. Организациям следует обращать пристальное внимание на неочевидные технические детали при выборе решения для сквозной поддержки NVMe, то есть не только на бэкенде массива, но и на серверах приложений с возможностью использованиям протокола NVMe over Fabrics на фронтенде массива.

Программно-управляемые NVMe-носители

Флэш-массивы для современных дата-центров не должны иметь ничего общего с технологиями эпохи жестких дисков, включая элементы FTL (Flash Translation Layer) в каждом из сотен SSD. Для раскрытия всего потенциала NVMe необходимо использовать ПО для управления флэш-памятью всего флэш-массива нативно и глобально. Это гарантирует более низкое и стабильное время отклика.

Соответствующее операционное ПО делает возможным полноценное управление флэш-памятью, в том числе NVMe-протоколом. Такое управление включает, например, флэш-арбитраж, планирование операций ввода-вывода, сбор мусора и исправление ошибок. Типичные функции управления флэш-памятью, которые сегодня выполняются на каждом SSD, объединены на системном глобальном уровне для повышения производительности и оптимального использования возможностей как отдельного носителя, так и всех вместе взятых. Глобальное управление флэш-памятью позволяет повысит утилизацию сырой ёмкости и избежать недоиспользования носителя. Кроме того, это позволит консолидировать несколько нагрузок, поскольку общее управление точное и оптимальное в случае использования NVMe-протокола для взаимодействия с флэш-носителем.

Прагматичным решением в таком случае станет модуль с программно-определяемой архитектурой для подключения большого пула флэш-чипов напрямую к флэш-массиву через массово-параллельные каналы NVMe. Программное обеспечение выполняет задачи SSD-контроллера, то есть управляет флэш-памятью, собирает мусор и выравнивает износ ячеек на всем пуле флэш-памяти, а также включает такой функционал корпоративной СХД, как дедупликация, сжатие, снэпшоты, клонирование, зеркалирование и многое другое. При этом существующие системы должны легко модернизироваться из SAS-модулей в NVMe, а также допускать смешивание обоих протоколов в одном массиве для защиты инвестиций.

Корпоративные приложения значительно выигрывают от программно-оптимизированной среды хранения с использованием NVMe. Программно-управляемые NVMe-СХД обеспечивают на 50% ниже время отклика, и стабильное время отклика, имеют в 5 раз лучше компактность, и на 30% выше полезную ёмкость по сравнению с традиционными твердотельными SSD-накопителями. С NVMe бизнес-приложения работают более эффективно и предсказуемо. Можно с уверенностью сказать, что программно-оптимизированная среда хранения с использованием NVMe — это умный выбор.

Наращивайте свой потенциал с NVMe-oF

Появление протокола NVMe over Fabrics (NVMe-oF) дает бизнесу еще один новый протокол, повышающий скорость соединения между сервером и памятью. NVMe-oF — это расширение сетевого протокола NVMe для Ethernet и Fiber Channel. Оно гарантирует высокоскоростное и качественное соединение СХД с серверами и снижает загрузку процессоров на хостах (серверах приложений). Преимущества NVMe-oF включают ускоренный обмен данными между системой хранения и приложениями на серверах и более эффективную утилизацию CPU (процессора). NVMe-oF обеспечивает дальнейшую консолидацию дата-центров и сетей, поскольку теперь такие разрозненные элементы инфраструктуры приложений, как SAN (подключение СХД по сети), так и DAS (прямое подключение носителей к серверам), можно объединить с использованием единой общей инфраструктуры хранения данных, которая повышает скорость сети вкупе с пропускной способностью.

Наличие быстрых сетей на основе протоколов NVMe-oF породило новый класс флэш-памяти. Такая технология даже получила отдельное название: в Gartner придумали термин «единая СХД с ускоренным доступом» (Shared Accelerated Storage). Задержка при обмене данными с внешним массивом через интерфейс NVMe-oF сравнима с показателями прямого подключения (DAS), что куда более эффективно, чем iSCSI, в операциях ввода-вывода и увеличивает объем параллельных вычислений, устраняя узкие места. NVMe и NVMe-oF привлекательны для предприятий любого профиля, если тем требуются масштабируемые, эффективные, надежные и простые в развертывании и управлении вычисления в центрах обработки данных.

Принимая решение о внедрении NVMe-oF, имейте в виду, что NVMe-oF — это новая технология. За пределами гиперскейлеров новым технологиям требуется время для устойчивого существования. И одним из первых препятствий для полноценного использования этого расширения становится экосистема NVMe-oF. В настоящее время NVMe-oF поддерживается во многих дистрибутивах Linux. Веб-масштабируемые облачные приложения для Linux, такие как MongoDB, Cassandra, MariaDB и Hadoop — отличные примеры использования преимуществ NVMe-oF по сравнению с RDMA Converged Ethernet (RoCE). Компания VMware продемонстрировала возможности NVMe-oF, но публично не объявила, когда поддержка протокола будет широко доступна. Помимо операционной системы иногда требуется поддержка со стороны производителя приложения. Однако стоит присмотреться к этой передовой технологии, ведь она может стать основной в ближайшие пару лет.

Инвестируйте в перспективные технологии хранения

Средний срок полезного использования современных систем хранения — около шести лет, но в ряде случаев сроки увеличиваются до десяти и более лет, если обновления базовой технологии в системе и переход на более продвинутую версию происходят бесперебойно и своевременно. При внедрении систем хранения безопасность инвестиций должна стать одним из наиболее важных критериев. Сегодня важно знать, что при переходе с традиционных жестких дисков на all-flash массив стоит обращать пристальное внимание на поддержку NVMe.

NVMe имеет огромные потенциальные преимущества, а NVMe-oF обеспечивает более быстрый обмен данными. Традиционные all-flash массивы, которые продолжают работать с дисковыми протоколами SAS, не смогут в полной мере использовать потенциал флэш-памяти. Это требует создания новых архитектур, разработанных с нуля для массово-параллельного доступа к флэш-памяти.

Флэш-память, основанная на NVMe, NVMe-oF и других важных характеристиках и стандартах единой СХД с ускоренным доступом, облегчает путь к корпоративной трансформации. Такой подход обеспечивает беспрецедентную скорость и гибкую масштабируемость для требовательных приложений. Это позволяет значительно упростить и консолидировать ИТ-операции для повышения гибкости дата-центра. Таким образом, решающее значение имеет наличие у будущего производителя СХД четкого пути эффективного использования NVMe и NVMe-oF в предлагаемых массивах.

В конечном счете, самые свежие инновации среди флэш-массивов представляют собой компактные, мощные и перспективные решения. Они предназначены для решения текущих бизнес-задач, упрощения дата-центров и стимулирования инноваций на предприятии. Сокращение уровней ПО повышает надежность. В долгосрочной перспективе открываются технические возможности для новых, узкоспециализированных бизнес-приложений, которые требуют еще более быстрого взаимодействия с памятью. У руководителей, принимающих решения, теперь появилась отличная возможность сделать разумные и защищенные инвестиции в будущее.

Автор статьи — глава представительства Pure Storage в России/СНГ и странах Балтии.