В мире хранения данных и управления неструктурированными данными за последние 12 месяцев многое изменилось. Стратегии облачного хранения находятся в центре внимания в связи с ростом стоимости и усилением давления на ИТ-бюджеты в нестабильные экономические времена, генеративный ИИ создает новые требования к хранению данных и управлению ими, миграция данных становится все более сложной, но необходимой в эпоху консолидации дата-центров, а ИТ-организации находятся под сильным давлением, требующим сдерживать расходы и обеспечивать бóльшую ценность данных. Что делать со всем этим? Кумар Госвами, генеральный директор и соучредитель компании Komprise, приводит на портале Datanami несколько прогнозов, начиная с ИИ и управления неструктурированными данными.

ИИ обогатит неструктурированные данные для достижения лучших бизнес-результатов

Неструктурированные данные огромны и до сих пор не могут быть использованы по нескольким причинам: их сложно и дорого искать, классифицировать, сегментировать и переносить в механизмы ИИ и аналитические инструменты. По мере развития ИИ-инструментов и сервисов, которые становятся все более доступными и востребованными многими, а не только крупнейшими организациями с большими карманами, растет потребность в использовании этих данных для получения новой бизнес-ценности.

Вот в чем проблема: исследователи и специалисты по изучению данных, которые хотят отправить данные в ИИ, не имеют простых способов сделать это безопасно. Это требует написания ручных сценариев и нескольких дней или недель работы. Кроме того, технологии ИИ и MО все еще слишком неточны и страдают предвзятостью и ложными результатами.

Мы прогнозируем рост спроса на решения, создающие рабочий процесс, в котором ИИ может быстро находить нужные данные, обогащать их и проверять результаты. Такой процесс может состоять в том, что сначала используется инструмент ИИ, который сканирует данные в облачном озере данных или дата-центре, чтобы найти нужные типы данных для проекта, например все снимки маммографии за 2022 г. Затем ИИ обогащает метаданные, сканируя содержимое файлов и присваивая им метки (например, «содержит маркер X для последующей диагностики»), и возвращает набор данных, который может быть проверен человеком на предмет правильности результата. Возможность управления неструктурированными данными с поддержкой поиска по глобальному индексу файлов, который может подключаться по API к инструментам ИИ для дальнейшей идентификации и обогащения данных, бесценна: оно экономит время, повышает эффективность и точность ИИ-проектов.

От приоритета облака к приоритету данных

Во время разгара глобальной пандемии стратегии «cloud-first» были в моде, но сегодня они пересматриваются. ИТ-организации создают гибкие, гибридные облачные и мультиоблачные среды, используя технологии разных производителей, подходящие для различных рабочих нагрузок. Некоторые организации обожглись на облаке, обнаружив, что не только недостаточно экономят, но иногда даже тратят больше, чем если бы хранили данные у себя.

Существует множество причин, объясняющих эту реальность, но идея о том, что перенос большей части или всех рабочих нагрузок в облако обеспечивает максимальную экономию средств, не оправдалась. ИТ-организации будут выбирать из множества представленных на рынке вариантов хранения данных — локальных или облачных — исходя из требований к производительности, стоимости и безопасности данных на протяжении всего их жизненного цикла. Возможность легко перемещать данные при изменении требований или появлении более совершенных технологий имеет первостепенное значение.

Поэтому инструменты управления данными, позволяющие перемещать огромные объемы неструктурированных данных без привязки к вендору, будут приобретать все большую ценность.

Миграция неструктурированных данных станет более интеллектуальной и автоматизированной

Миграция корпоративных данных традиционно была сложной, ручной задачей и требовала большого количества профессиональных услуг, особенно когда речь шла об огромных объемах неструктурированных данных. Автоматизация и ИИ изменят ситуацию, обеспечив интеллектуальную и эффективную миграцию данных, которая больше не будет нуждаться в присмотре ИТ-менеджеров и будет адаптивной.

Эти инструменты будут уметь решать проблемы на лету и самостоятельно устранять их. По мере накопления знаний продвинутые инструменты планирования миграции будут рекомендовать оптимальные уровни хранения для различных рабочих нагрузок и сценариев использования. Это своевременное развитие, поскольку миграция данных зависит от меняющейся среды заказчика: его брандмауэра, сетевых подключений и конфигураций безопасности. Корпоративные заказчики будут искать решения, обеспечивающие на порядок более быструю миграцию с лучшими долгосрочными результатами и меньшим количеством случаев потери данных, ошибок и рисков безопасности.

Развитие карьеры в сфере технологий хранения данных потребует овладения навыками FinOps и Cross-Silo

Учитывая все вышеперечисленные тенденции, ИТ-специалистам, работающим с системами хранения данных, придется приобретать дополнительные знания и опыт, чтобы действовать более экономично, эффективно и в соответствии с потребностям бизнеса. FinOps станет частью номенклатуры навыков архитекторов систем хранения в 2024 г. По мере того как хранение становится все более ориентированными на ПО и сервисы, управление аппаратным обеспечением становится все менее необходимым. Поэтому основное время специалистов по хранению данных будет занимать работа с поставщиками, контрактами и предоставление безопасных и экономически эффективных сервисов по обработке данных для отделов и пользователей.

Кроме того, предприятия отказываются от услуг единого поставщика. Поэтому администраторы систем хранения должны уметь переключаться между различными технологиями, а не специализироваться на одной платформе. Это требует более широких навыков и знаний в области сетевых технологий, безопасности, облачной архитектуры, моделирования затрат и анализа данных.

В придачу, названия должностей, связанных с хранением данных, будут заменены названиями должностей, связанных с данными, такими как «инженер по инсайтам» или «архитектор по управлению данными». В зрелых инфраструктурных командах менеджеры, отвечающие за хранение данных, будут более тесно сотрудничать с командами специалистов по науке о данных и ИИ для приобретения инфраструктуры, готовой к работе с ИИ, и разработки планов по классификации данных и их обработке на аналитических платформах.