Можно с уверенностью сказать, что сетка данных (Data Mesh) переживает сегодня настоящий момент истины, пишет на портале Datanami Каранджот Джасвал, соучредитель и технический директор компании Cinchy, специализирующейся на совместной работе с данными.

Даже беглый поиск в новостном потоке в Интернете дает десятки результатов, связанных с понятием сетки данных, и среди них есть немало разночтений. Конечно, такое происходит со многими новыми технологическими достижениями. Но все мы знаем, что даже многообещающие дисциплины могут погаснуть так же быстро, как и вспыхнули, а некоторые выживают без особых вспышек. Сетка данных — это динамичная область, и быстрые изменения — неотъемлемый элемент ее кровеносной системы. Но даже с учетом всех этих предостережений эта развивающаяся архитектура может оказаться достойной внимания.

Даже с учетом обычного уровня изменений в бизнес-практике, основанной на данных, кажется очевидным, что сетка данных предлагает реальный потенциал для значимых перемен. В нашем постоянном движении к действительно ориентированной на данные культуре — когда каждое стратегическое решение принимается и любая бизнес-операция осуществляется на основе действенной аналитики, полученной в результате анализа гор необработанных данных в режиме реального времени, — сетка данных, вероятно, станет важной вехой.

Проблема заключается в том, что такой важный путь включает в себя множество этапов, так же как ни одно технологическое решение не может сделать все. Сетка данных — это надежная основа, но как ее можно объединить с другими подходами, чтобы добиться бóльших преимуществ? Если она уже так хороша, то что будет собой представлять ее вторая версия — Data Mesh 2.0?

Сначала немного контекста. Хотя сетку данных часто относят к той же категории, что и озера данных и хранилища данных, на самом деле она туда не входит. По сути, это технологии, используемые для хранения или перемещения данных, тогда как сетка данных сосредоточена непосредственно на самих данных. Эта архитектура позволяет распределять права собственности на данные между несколькими бизнес-ориентированными доменами и аналогичными структурами, а не сосредотачивать их в одном централизованным органе. Такая демократизация влечет за собой множество сопутствующих преимуществ, начиная от аналитики в гетерогенных инфраструктурах и заканчивая масштабированием в зависимости от потребностей бизнеса.

В идеале это замечательное видение. Благодаря сетке данные больше не копятся у нового поколения элитных специалистов и стюардов, к данным, которые нужны для работы, обращаются непосредственно профессионалы бизнеса. Собственно, так и должно было быть всегда.

Но лучшее еще впереди. Широкие перспективы децентрализованной архитектуры пока далеки от реализации. Конечно, есть некоторые внедрения и инициативы, но их масштабы относительно ограничены. Историй успеха сетки данных крайне мало.

Мы можем добиться большего, и начинать надо с нескольких основных принципов.

Во-первых, концепция владения данными на основе домена должна быть понята в полном контексте. Это не просто изменение централизованной структуры власти, это означает, что данные больше не принадлежат конкретным приложениям или технологам, которые за ними следят, а принадлежат самому бизнесу. Лучше всего это достигается с помощью новых технологий, которые позволяют отделить данные от приложений, создающих или хранящих эти данные, и такие решения уже доступны. Это фундаментальное изменение, имеющее серьезные последствия, и оно потребует значительных перемен в давно сложившейся практике.

Во-вторых, предприятиям необходима возможность управлять данными как продуктом. Данные — это уже не случайный результат работы сложных технологий, а конкретный, идентифицируемый и дискретный продукт, который может отдельно принадлежать и управляться одним или несколькими бизнес-доменами. Точнее, речь идет о продуктах данных, причем не об одном, а о многих, созданных для поддержки как аналитических, так и операционных систем. Это революционно, хотя и является еще одной реализацией нашего давнего представления о данных как о корпоративном активе, который может занять свое место рядом с другими, более материальными ресурсами.

Далее, представьте себе преимущества самообслуживаемой платформы данных. Это управляемый метаданными браузер данных, который могут использовать как бизнес-пользователи, так и технологи для совместной работы — обнаружения, доступа, изменения, создания и даже определения происхождения данных, причем без создания новых разрозненных систем. Несомненно, интеграция данных — это бич цифровой эпохи: горы данных, хранящихся в организации, размещаются (или, скорее, запираются) в «бункерах», где они якобы безопасны, но изолированы. Объединение взаимосвязанных массивов данных из разных хранилищ, безусловно, болезненно. Это может показаться удивительным, поскольку это весьма элементарная и распространенная тема, но задачи, связанные с интеграцией, могут отнимать половину ИТ-бюджета. Архитектура сетки данных, дополненная платформой данных нового поколения, в значительной степени устраняет эту проблему.

Наконец, существует вопрос управления федеративными вычислениями. В условиях, когда целый ряд правил и норм, связанных с безопасностью и соответствием нормативным требованиям, требует усиления администрирования, это решение, ориентированное на перспективу, позволяет внедрить политики управления, разработанные владельцами продуктов данных и бизнес-доменов, в сами данные. Это дает огромное операционное преимущество: независимо от того, каким образом конечные пользователи работают с данными, независимо от устройства или другой точки контакта, независимо от того, какое приложение задействовано, и из любого места — разрешения, контроль, политики и конфиденциальность гарантированно остаются неизменными.

Хотя эти принципы отличаются от сути подхода, основанного на сетке данных, они прекрасно дополняют друг друга. Привлекательность децентрализованной архитектуры, обеспечивающей подлинную демократизацию данных, неотразима: подобно тому, как бизнес-пользователи, а не ИТ-отдел, решают, какое оборудование покупать, какое ПО использовать и какие приложения загружать, так и бизнес-направления и руководители все чаще имеют право решать, какие данные анализировать и какие пользовательские продукты разрабатывать для решения приоритетных задач бизнеса.

Сетка данных существует уже достаточно давно, чтобы можно было разглядеть ее преимущества и осознать необходимость создания ее следующей версии. Безусловно, в этой сфере будут и другие достижения. Но на данный момент следующая итерация этой архитектуры позволит нам продвинуться по пути создания вселенной, ориентированной на данные, как никогда ранее.