Управление данными и используемые для этого инструменты на пороге большого скачка, который упростит работу инженеров по данным. Так считает вице-президент Gartner по исследованиям Алан Дункан, его мнение приводит портал InformationWeek.

Представители одной из пользующихся спросом, непрерывно развивающихся и хорошо оплачиваемых специальностей, появившихся в ИТ-подразделениях за последние десять лет, могут вскоре получить давно ожидаемую помощь.

Инженеры по данным — это ИТ-специалисты, являющиеся экспертам по большим данным и машинному обучению, которые собирают вместе данные, инфраструктуру данных, управление данными и инструменты для работы с данными и заставляют все это работать. Не существует формальной программы обучения корпоративных инженеров по данным. Это мастера на все руки, талантливые самоучки, обучавшиеся в процессе работы.

Но помощь близка. «Если говорить в самом широком плане, мы находимся на пороге отказа от фрагментарной архитектуры», — сказал Алан Дункан. Это означает, что организациям не придется покупать набор отдельных компонентов, из которых инженер по данным соберет целостную систему, позволяющую сотрудникам использовать бизнес-интеллект и сложную аналитику. Мы переходим от первых попыток такого рода на новый уровень зрелости — к сетям данных (data mesh) или фабрикам данных (data fabric), включающим все необходимые компоненты.

«Работающие в этом направлении провайдеры создают более комплексное и целостное представление о том, как объединить эти компоненты. Вы можете получить гораздо более интегрированный подход к среде управления данными», — продолжил Дункан.

Сегодня к включенным в платформы компонентам относятся автоматическое обнаружение данных и предоставление данных, аналитика с помощью графов на основе ИИ, которая позволяет взглянуть на имеющиеся данные и увидеть их связь с другими данными, и многое другое.

Указанный переход стимулируют другие изменения, произошедшие за последние 5-10 лет. Например, рост объема данных и их превращение в большие данные. Сегодня этот термин менее популярен, но концепция все еще используется. Организации собирают больше данных, чем когда-либо. Управление этими большими наборами данных и их анализ позволили компаниям получить новые знания и сделали машинное обучение на предприятиях более жизнеспособным. Но одновременно возникли и новые проблемы. Теперь эти платформы наверстывают упущенное, инкорпорируя множество новых функций, которые замедляли работу с данными на предприятиях. Управление данными достигло поворотной точки.

Мы находимся только в начале пути, считает Дункан. Переход наметился в последние 12 месяцев и займет еще более двух лет.

Несколько крупных производителей, включая Amazon, IBM, Informatica и Oracle, работают над созданием унифицированной платформы. Некоторые сервис-провайдеры, в т. ч. Accenture и Infosys, также создают унифицированные платформы для своих клиентов. Но платформы — только часть головоломки. По мнению Дункана, они даже не главное: «Ценность не в платформах. Они не являются самоцелью. Ценность в данных».

Вендоры тоже стремятся добавить такую ценность, выступая в роли провайдеров или брокеров данных. Например, IBM купила The Weather Channel, что открыло ей доступ к богатому источнику сведений о погоде, отметил Дункан. Некоторые вендоры создали площадки для обмена данными. Они получили возможность предлагать эти источники данных своим клиентам, избавляя тех от необходимости налаживать отношения с многочисленными провайдерами данных. Gartner прогнозирует, что к 2022 г. 50% решений о покупке облаков будут базироваться на данных, предоставленных провайдерами облачных сервисов, а не на возможностях продукта.

Сейчас, когда управление данными вот-вот вступит в новую эру, мир сталкивается с настоящим кризисом. Дункан называет себя оптимистом. Он надеется, что в качестве побочного эффекта пандемия коронавируса научит мир общению на основе данных. «Все эти вещи происходят в микрокосмосе в сравнении с COVID-19, — сказал он. — Общество жаждет сотрудничества... Наше общество имеет шанс понять, что означает быть более грамотным в области данных, и уделять больше внимания данным и науке о них».