Использование аналитики больших данных и предиктивной аналитики с помощью глубокого обучения — это важные стратегии для принятия более разумных, более обоснованных решений и обеспечения конкурентных преимуществ. Но эти тактики не просты в исполнении, и для их реализации требуется правильно спроектированная аппаратная инфраструктура, утверждают на портале Datanami эксперты компании Silicon Mechanics.

Существует несколько ключевых факторов, которые необходимо учитывать при проектировании и построении среды для выполнения рабочих нагрузок больших данных.

  • Решения для хранения данных должны быть оптимизированы, и вы должны решить, какое хранение — облачное или локальное — будет наиболее экономически эффективным.
  • Серверы и сетевое оборудование должны обладать необходимой вычислительной мощностью и пропускной способностью для обработки огромных объемов данных в режиме реального времени.
  • Программно-определяемый подход к администрированию систем хранения позволяет легче получать доступ к данным и управлять ими в масштабе.
  • Система должна быть масштабируемой и способной к расширению в любой момент.

Без правильно спроектированной инфраструктуры узкие места в системах хранения данных, проблемы масштабируемости и низкая производительность сети могут стать огромными препятствиями. Вот некоторые ключевые соображения, которые следует учитывать, чтобы обеспечить инфраструктуру, способную справляться с рабочими нагрузками в области аналитики больших данных.

Вызовы для аналитики больших данных

Хотя каждая организация отличается от другой, все они должны решить определенные задачи, чтобы воспользоваться всеми преимуществами аналитики больших данных. Одна из проблем заключается в том, что данные могут быть разрозненными. Структурированные данные, как правило, высокоорганизованны и легко поддаются расшифровке. Неструктурированные данные не так легко собрать и проанализировать. Данные этих двух типов часто хранятся в разных местах, и доступ к ним должен осуществляться разными способами.

Объединение этих двух разрозненных источников данных является огромным стимулом для успеха аналитики больших данных, и это первый шаг к тому, чтобы ваша инфраструктура была способна помочь вам достичь ваших целей. Единое озеро данных, в котором структурированные и неструктурированные данные расположены вместе, позволяет анализировать все необходимые данные в каждом запросе для получения максимальной ценности и понимания.

Однако единое озеро данных может привести к проектам, в которых, как правило, используются терабайты или петабайты информации. Для таких огромных объемов данных необходима инфраструктура, способная быстро перемещать, хранить и анализировать огромное количество информации, чтобы максимально повысить эффективность инициатив в области больших данных.

Проблемы, связанные с инфраструктурой глубокого обучения

Проектирование инфраструктуры для глубокого обучения связано со своим собственным набором уникальных проблем. Как правило, вы хотите запустить проверку концепции (POC) для фазы обучения проекта и отдельную для части выводов, поскольку требования для каждой из них различны.

Масштабируемость. Этапы создания кластера глубокого обучения, связанные с аппаратным обеспечением, имеют свои уникальные проблемы. Переход от POC к производству часто приводит к неудаче из-за дополнительных масштабов, сложности, непринятия пользователями и других проблем. В аппаратное обеспечение необходимо изначально заложить масштабируемость.

Индивидуальные рабочие нагрузки. Специфические рабочие нагрузки требуют специфической конфигурации. Вы можете выполнять машинное обучение на кластере без GPU-ускорения, но для глубокого обучения обычно требуются системы на базе GPU. И для обучения необходима поддержка приема, вывода и обработки массивных наборов данных.

Оптимизация производительности. Одним из наиболее важных факторов при выборе оборудования является оптимизация производительности для рабочей нагрузки. Ваш кластер должен представлять собой модульную конструкцию, позволяющую настраивать его в соответствии с вашими ключевыми задачами, такими как скорость сети, вычислительная мощность и т. д. Такая сборка может расти вместе с вами и вашими рабочими нагрузками и адаптироваться по мере появления новых технологий или потребностей.

Ключевые компоненты для аналитики больших данных и глубокого обучения

Очень важно понимать потребности инфраструктуры для каждой рабочей нагрузки в рамках ваших инициатив по работе с большими данными. Их можно разделить на несколько основных категорий и необходимых элементов.

Вычисления. Для вычислений вам понадобятся быстрые GPU-интерконнекты, высокопроизводительные CPU со сбалансированной памятью и настраиваемая топология GPU для выполнения различных рабочих нагрузок.

Сетевое взаимодействие. Для работы с сетью вам потребуется несколько каналов связи, InfiniBand и Ethernet, чтобы исключить узкие места в производительности, связанные с задержками.

Хранилище. Система хранения данных должна избегать узких мест, характерных для традиционных расширяемых устройств хранения данных. Здесь интересным вариантом для вашей инфраструктуры больших данных могут стать особые типы программно-определяемых систем хранения (SDS).

Ценность программно-определяемого хранилища

Определение требований к хранению данных для аналитики больших данных и рабочих нагрузок глубокого обучения может оказаться сложной задачей. Трудно полностью предугадать профили приложений, шаблоны ввода-вывода или прогнозируемые размеры данных, прежде чем вы столкнетесь с ними в реальности. Именно поэтому производительность инфраструктуры для вычислений и хранения данных может стать определяющим фактором успеха или неудачи при построении систем аналитики больших данных и глубокого обучения.

SDS — это технология управления хранением данных, которая намеренно отделяет функции, отвечающие за предоставление емкости, защиту данных и управление размещением данных, от физического оборудования, на котором хранятся данные. SDS позволяет повысить эффективность и скорость масштабирования благодаря возможности легко заменять, модернизировать и расширять аппаратные средства хранения данных без изменения функциональности.

Достижение целей аналитики больших данных

Целями ваших инициатив по анализу больших данных и глубокому обучению являются ускорение принятия бизнес-решений, принятие более разумных, более обоснованных решений и, в конечном счете, достижение более положительных результатов в бизнесе на основе данных.