Искусственный интеллект произвел революцию в окружающем нас мире, и его преобразующее воздействие обусловлено способностью анализировать огромные объемы данных, извлекать из них уроки и предлагать инсайты и возможности автоматизации. Эти данные как правило хранятся в хранилищах данных, озерах данных, облачных и локальных дата-центрах, обеспечивающих доступ к важной информации и ее анализ в рамках современных ИИ-инициатив, пишет на портале AIwire Ниал Маклеод, директор по инжинирингу платформенных приложений компании Western Digital.

Одним из последствий распространения ИИ является разрушение традиционных бизнес-моделей. Организации все больше полагаются на ИИ, чтобы повысить качество обслуживания клиентов, оптимизировать операции и стимулировать инновации. Чтобы максимально использовать преимущества ИИ, крайне важно внедрять передовые архитектуры хранения данных. NVMe over Fabrics (NVMe-oF) обеспечивает доступ с низкой задержкой и высокой пропускной способностью, необходимый для рабочих нагрузок ИИ, повышая производительность и уменьшая потенциальные узкие места. Внедрение дезагрегированных систем хранения обеспечивает бóльшую гибкость и позволяет масштабировать СХД и вычисления независимо друг от друга для максимального использования ресурсов. Предприятия, не сумевшие внедрить наиболее подходящую архитектуру и интегрировать ИИ в свои модели, рискуют отстать в мире, все более ориентированном на данные.

Соображения по развертыванию моделей машинного обучения

Организации находятся под постоянным давлением, требующим как можно быстрее извлечь как можно больше пользы из своих данных, но при этом они должны делать это с минимальными затратами, не препятствуя выполнению обычных бизнес-операций. Из-за этого использование стандартных локальных или облачных СХД уже не кажется идеальным.

Организациям необходимо создавать высокопроизводительные, гибкие и масштабируемые вычислительные среды, поддерживающие обработку данных в режиме реального времени в современных рабочих процессах ИИ. В таких сценариях эффективная специализированная СХД имеет решающее значение, и при ее развертывании организациям следует учитывать объем, скорость, разнообразие и достоверность данных.

Сегодня организации могут создавать в собственных дата-центрах инфраструктуры, похожие на публичные облака, которые обеспечивают гибкость и масштабируемость облака, а также контроль и экономическую эффективность частной инфраструктуры. При правильной архитектуре такие среды могут обеспечивать более высокую отдачу, предоставляя гораздо более эффективный способ поддержки требований высокой производительности и масштабируемости к средам хранения, предназначенным для ИИ-приложений. В реальности перенос наборов данных ИИ/МО в локальные дата-центры из облака может стать идеальным вариантом для организаций, работающих в рамках определенных ограничений по производительности или стоимости.

Создание локальной среды хранения данных для ИИ-приложений

Организации могут создавать мощные среды хранения данных, обладающие гибкостью и масштабируемостью публичного облака, и управляемостью и согласованностью частных инфраструктур. Вот три момента, которые следует учитывать при создании локальных сред хранения данных, наилучшим образом подходящих для нужд современного мира, основанного на ИИ/МО:

  1. Выбор сервера. Приложениям ИИ требуются значительные вычислительные ресурсы для быстрой и эффективной обработки и анализа наборов данных MО, что делает выбор подходящей серверной архитектуры абсолютно критичным. При этом наиболее важным является возможность масштабирования ресурсов GPU без создания узких мест в системе.
  2. Высокопроизводительная сеть хранения данных. Также важно предусмотреть высокопроизводительную сеть хранения данных, способную не только удовлетворить (и даже превзойти) постоянно растущие требования GPU к производительности, но и обеспечить масштабируемую емкость и пропускную способность для соответствия размерам наборов данных обучения моделей и требованиям к производительности. Решения для хранения данных, использующие технологию непосредственного подключения, обеспечивают прямую связь между GPU и системой хранения и при этом обходят центральный процессор, повышая скорость передачи данных, уменьшая задержки и повышая эффективность использования.
  3. Опора на открытые стандарты. Наконец, решения должны быть независимыми от аппаратного обеспечения и протоколов, обеспечивая множество способов подключения к серверу и системе хранения в сети. Взаимозаменяемость компонентов инфраструктуры поможет создать гибкую среду для приложений ИИ.

Создание новой архитектуры

Создание локальной инфраструктуры, подобной публичному облаку, может стать отличным вариантом, обеспечивающим организациям гибкость и масштабируемость облака при подконтрольности и экономичности частной инфраструктуры. Однако важно, чтобы правильные решения по архитектуре систем хранения принимались с учетом требований ИИ, обеспечивая нужное сочетание вычислительной мощности и емкости системы хранения, которое необходимо для развития приложений ИИ в соответствии с потребностями бизнеса.

Одним из способов обеспечить правильное распределение ресурсов и уменьшить количество узких мест является дезагрегация хранилищ. Независимо масштабируемая СХД позволяет насыщать GPU данными, что в противном случае может стать проблемой для многих рабочих нагрузок ИИ/МО, использующих гиперконвергентные решения. Это означает, что СХД должна эффективно масштабироваться без ущерба для производительности.