Вычислительные системы хранения данных (computational storage) обещают обеспечить высокую производительность рабочих нагрузок, которые могут выиграть от выделенной мощности, но это не панацея. Это может обойтись недешево и привести к усложнению приложений, сообщает портал ComputerWeekly.

Хранение и обработка данных всегда были отдельными функциями, но что если их объединить и добиться гораздо более высокой производительности? В этом и заключается перспектива вычислительного хранения.

Хотя носители меняются и растет их емкость, основная функциональность СХД остается неизменной на протяжении десятилетий. Магнитные диски и ленты 1980-х часто выполняли те же функции, что и флэш-память сегодня, причем примерно в той же архитектуре. Однако вычислительные системы хранения призваны переосмыслить наши подходы к хранению и обработке данных. Каковы же его потенциальные преимущества и проблемы?

Обработка данных обычно предполагает перемещение данных небольшими партиями по мосту ввода-вывода (I/O) от устройства хранения к процессору, а затем обратно в хранилище. Однако быстродействие канала ввода/вывода обычно ниже, чем скорости передачи данных, которые могут быть достигнуты ближе к хранилищу. Это замедляет обработку данных и приводит к возникновению узких мест.

Такая задержка в обработке данных может препятствовать выполнению операций в реальном времени. Пока данные будут обработаны, необходимость в них может уже пройти. В условиях жесткой привязки ко времени это может привести к потере денег и возникновению трудностей в работе.

Вычислительные системы хранения данных включают в себя возможности обработки данных. Это похоже на мини-сервер, встроенный непосредственно в жесткий диск. Благодаря этому данные больше не нужно перемещать в процессоры, предназначенные для вычислений, поскольку вычислительная мощность подключена к системе хранения. Такое стало возможным только с появлением твердотельных накопителей (SSD).

Появилась возможность обрабатывать данные гораздо быстрее, чем когда-либо прежде. Поскольку обработка происходит на месте, вычислительные системы хранения идеально подходят для рабочих нагрузок, оперирующих огромными объемами данных. Сопутствующее снижение вычислительной мощности ядра позволяет системам работать более эффективно и сократить энергопотребление процессоров и соответствующих систем охлаждения.

Дополнительным потенциальным преимуществом вычислительных систем хранения является снижение сетевого трафика, поскольку часть данных может обрабатываться на самом устройстве хранения, а не передаваться на процессор.

Типы вычислительных систем хранения

В настоящее время существует два различных типа вычислительных систем хранения данных:

  • Фиксированные вычислительные сервисы хранения, или устройства с фиксированными функциями, имеют встроенный процессор с заранее запрограммированной в нем специальной функцией (например, сжатие данных). Хотя такие устройства проще в настройке и установке, они привязаны к конкретным функциям и не обладают достаточной гибкостью. Примером такого устройства является SSD-накопитель, который отслеживает доступ на предмет потенциальных атак вредоносного ПО.
  • Программируемые вычислительные системы хранения данных, или устройства общего назначения — это устройства с операционной системой, которая обычно основана на Linux и требует программирования, как обычный сервер. Они имеют встроенный процессор, который может быть запрограммирован на выполнение определенных задач по обработке данных. Хотя устройства общего назначения гораздо лучше подходят для решения конкретных задач бизнеса, их настройка, естественно, занимает больше времени.

Проблемы остаются

Несмотря на потенциальные преимущества вычислительных систем хранения данных, остаются и серьезные проблемы, требующие решения. Технология, лежащая в основе таких систем, находится в зачаточном состоянии, и в настоящее время она доступна лишь ограниченному числу производителей.

Если твердотельные накопители взаимозаменяемы и легко взаимодействуют друг с другом, то в случае с вычислительными системами хранения такая совместимость теряется, поскольку подходы разных поставщиков довольно сильно различаются.

Не далее как в конце 2022 г. ассоциация Storage Networking Industry Association (SNIA) выпустила новые стандарты архитектуры аппаратного и программного обеспечения, а также предварительный стандарт интерфейса прикладного программирования (API), необходимого для доступа к вычислительным устройствам хранения.

Возможные риски безопасности этих систем также еще не полностью ясны. Последствия потенциальных угроз и требования к безопасности встроенного в устройство хранения процессора еще не до конца изучены.

Чтобы в полной мере использовать преимущества вычислительных систем хранения, может потребоваться переработка существующих приложений и сервисов для их интеграции с новыми системами. Это может затруднить использование вычислительных систем хранения в существующих приложениях, поэтому командам разработчиков необходимо хорошо понимать возможные подводные камни. Модификация кода всегда сопряжена с рисками непредвиденных последствий, с которыми некоторые организации могут не захотеть мириться.

Остается открытым вопрос о том, будут ли в будущем приложения адаптированы для использования вычислительных хранилищ. Если да, то это может сократить время обработки. Однако то, будут ли написаны приложения, использующие преимущества встроенной обработки, зависит от того, насколько широкое распространение получат сами вычислительные системы хранения.

Сценарии использования

Вычислительное хранилище не станет универсальной панацеей, поскольку единое устройство обеспечит прирост производительности только в определенных областях и может быть дорогостоящим. Однако встроенные процессоры вычислительных систем хранения делают их идеальными для решения специфических задач обработки больших объемов данных. В качестве примера можно привести анализ данных в реальном времени, машинное обучение и сжатие видео для сетей распространения контента.

Учитывая ограниченную вычислительную мощность, доступную вычислительным системам хранения, задачи, требующие больших вычислений, такие как сложные симуляции, по-прежнему лучше выполнять с помощью специального процессора.

Среди компаний, уже внедривших вычислительные системы хранения, можно назвать Tesla, Google, Facebook и Yahoo Mail. На них также перешли некоторые крупные центры обработки данных, предоставляющие вычислительные ресурсы, такие как AWS и Alibaba.

Вычислительные устройства хранения данных уже доступны в продаже, и любая система, оснащенная этой новой технологией, потенциально будет менее требовательна к процессору, чем традиционные архитектуры.

Поскольку задачи, связанные с обработкой данных, выполняются процессором вычислительного хранилища, системный процессор может сосредоточиться на вычислительных сегментах рабочей нагрузки. Такое управление системой повышает общую производительность и позволяет выполнять задачи быстрее и эффективнее. Это также позволит сделать более жизнеспособными критические ко времени рабочие нагрузки.