Лучшие практики модернизации архитектуры данных предприятия

Дитмар Ритш, генеральный директор компании Pimcore, описывает на портале Information Age лучшие практики, которые организации должны учитывать при построении современной архитектуры данных предприятия.

Данные все чаще упоминаются как спасательный круг, который необходим бизнесу для роста и, что еще важнее, дифференциации и лидерства. Данные позволяют принимать решения о бизнес-операциях, помогают решать проблемы, понимать клиентов, оценивать эффективность, совершенствовать процессы, измерять улучшения и многое другое. Однако наличие данных — это только хорошее начало. Предприятиям необходимо эффективно управлять этими данными, чтобы поместить их в нужный контекст и выяснить «что, когда, кто, где, почему и как» в конкретной ситуации для достижения определенных целей. Очевидно, что предприятие, работающее по спросу, выживает и процветает благодаря эффективной архитектуре данных предприятия, которая служит источником информации о продуктах и услугах для удовлетворения конкретных потребностей бизнеса.

Высокофункциональная архитектура данных о продуктах и мастер-данных жизненно важна для ускорения вывода продукции на рынок, повышения удовлетворенности клиентов, снижения затрат и завоевания большей доли рынка. Сейчас, живя в болотах данных, предприятия должны определить, смогут ли их устаревшие архитектуры данных справиться с огромным объемом накопленных данных и удовлетворить текущие потребности в обработке данных. Модернизация архитектуры данных для повышения гибкости, улучшения качества обслуживания клиентов и быстрого масштабирования — лучший путь вперед. При этом они должны следовать лучшим практикам, которые имеют решающее значение для получения максимальных преимуществ от модернизации архитектуры данных. Ниже приведены семь таких практик.

1. Создавайте гибкие, расширяемые схемы данных

Предприятия получают мощное конкурентное преимущество благодаря расширению своих возможностей по изучению данных и использованию передовой аналитики. Для этого они переходят к денормализованным, изменяемым схемам данных с меньшим количеством физических таблиц для организации данных, чтобы максимизировать производительность. Использование гибких и расширяемых моделей данных вместо жестких позволяет быстрее исследовать структурированные и неструктурированные данные. Это также снижает сложность, поскольку менеджерам данных не нужно вставлять уровни абстракции, такие как дополнительные соединения между высоко нормализованными таблицами, для запроса реляционных данных.

Модели данных могут стать расширяемыми с помощью техники data vault 2.0 — предписывающего, стандартного для отрасли метода преобразования необработанных данных в интеллектуальные, действенные инсайты. Графовые базы данных NoSQL работают с неструктурированными данными и позволяют создавать приложения, требующие огромной масштабируемости, возможностей реального времени и доступа к слоям данных в системах искусственного интеллекта. Кроме того, аналитика может помочь получить доступ к хранимым данным во время работы стандартных интерфейсов. Предприятия могут хранить данные с использованием JavaScript Object Notation (JSON), что позволяет изменять структуру базы данных без ущерба для информационной модели бизнеса.

2. Фокус на основанной на доменах архитектуре, согласованной с потребностями бизнеса

Архитекторы данных переходят от кластеров централизованных корпоративных озер данных к архитектуре на основе доменов. В этом случае методы виртуализации данных используются на предприятиях для организации и интеграции распределенных активов данных. Подход, основанный на доменах, играет важную роль в удовлетворении конкретных бизнес-требований для ускорения вывода на рынок новых продуктов и услуг, связанных с данными. Владелец продукта и команда разработчиков могут поддерживать для каждого домена каталог данных с возможностью поиска, а также предоставлять потребителям документацию (определения, конечные точки API, схемы и т. д.) и другие метаданные. Как ограниченный контекст, домен также предоставляет пользователям дорожную карту данных, которая охватывает данные, интеграцию, хранение и архитектурные изменения.

Такой подход значительно сокращает время, затрачиваемое на создание новых моделей данных в озере, обычно с месяцев до дней. Вместо создания централизованной платформы данных можно развернуть логические платформы, которые управляются в различных отделах организации. Для доменно-ориентированной архитектуры инфраструктура данных как платформа использует стандартизированные инструменты для обслуживания активов данных для ускорения внедрения.

3. Ликвидируйте разрозненность данных в организациях

Последствия изолированности данных для предприятия, управляемого данными, разнообразны. Затрудняются бизнес-операции и инициативы по анализу данных, поскольку невозможно интерпретировать неструктурированные, дезорганизованные данные. Изолированность мешает управлению процессами и принятию решений на основе точной информации. Избавление от нее позволяет предприятиям принимать более обоснованные решения и более эффективно использовать данные. Очевидно, что надежная архитектура предприятия должна устранять разрозненность путем проведения аудита внутренних систем, культуры и целей.

Важнейшей частью модернизации архитектуры данных является обеспечение доступа к внутренним данным тем людям, которым они нужны и когда они им нужны. Если разрозненные хранилища содержат одни и те же данные, создаются дубликаты данных, что делает практически невозможным определение того, какие данные являются актуальными. В современной архитектуре данных разрозненность данных устраняется, информация очищается и проверяется, чтобы обеспечить ее точность и полноту. По сути, предприятия должны внедрять полные и централизованные MDM и PIM, чтобы автоматизировать управление в одном месте всей информацией в различных каналах и обеспечить долгосрочный демонтаж информационных бункеров.

4. Выполняйте обработку данных в режиме реального времени

С появлением рекомендаций по продуктам в реальном времени, персонализированных предложений и многочисленных каналов связи с клиентами мир бизнеса уходит от устаревших систем. В плане обработки данных в режиме реального времени модернизация архитектуры данных является обязательным компонентом столь необходимой цифровой трансформации. Благодаря архитектуре реального времени предприятия могут обрабатывать и анализировать данные с нулевой или почти нулевой задержкой. Таким образом, они могут выполнять аналитику для отслеживания поведения в цифровых продуктах и получения информации о применении функций, изменениях UX, использовании и отказе от использования.

Внедрение такой архитектуры начинается с перехода от традиционной модели к модели, основанной на данных. Чтобы построить устойчивую и гибкую модель архитектуры данных, которая одновременно является перспективной и гибкой, архитекторы данных должны интегрировать новые и лучшие технологии данных. Кроме того, для удовлетворения многочисленных бизнес-требований и обеспечения доступности и низкой задержки могут быть развернуты потоковые модели или комбинация пакетной и потоковой обработки.

5. Отделите точки доступа к данным

Сегодня данные уже не ограничиваются структурированными данными, которые можно анализировать с помощью традиционных инструментов. В результате появления больших данных и облачных вычислений огромное количество структурированных и неструктурированных данных, содержащих жизненно важную для бизнеса информацию, зачастую труднодоступно по разным причинам. Это означает, что архитектура данных должна быть способна обрабатывать данные из структурированных и неструктурированных источников, как в структурированном, так и в неструктурированном формате. Если этого не сделать, предприятия упустят важную информацию, необходимую для принятия обоснованных бизнес-решений.

Данные могут быть открыты через API, что позволяет ограничить и защитить прямой доступ к просмотру и изменению данных, обеспечивая при этом более быстрый и актуальный доступ к стандартным наборам данных. Данные можно легко использовать повторно в разных командах, ускоряя доступ и обеспечивая беспрепятственное сотрудничество между командами аналитиков. Благодаря этому можно более эффективно разрабатывать сценарии использования ИИ.

6. Рассмотрите облачные платформы данных

Облачные вычисления, вероятно, являются самой значительной движущей силой революционно нового подхода к архитектуре данных для быстрого масштабирования возможностей и инструментов ИИ. Снижение стоимости облачных вычислений и развитие инструментов данных in-memory позволяют предприятиям использовать самые сложные передовые аналитические инструменты. Облачные провайдеры революционизируют способы создания, развертывания и эксплуатации инфраструктуры данных, платформ и приложений в масштабе компаний любого размера. С помощью облачных PIM или MDM предприятия могут воспользоваться готовыми к использованию и сконфигурированными решениями, в которые можно легко загрузить данные о продукции, автоматизировать создание каталога и обогатить его разнообразными маркетинговыми кампаниями.

Используя облачные PIM или MDM, предприятия могут избавиться от необходимости обслуживания оборудования, хостинга приложений, обновления версий и исправлений безопасности. С точки зрения затрат, низкая стоимость подписки на облачные платформы выгодна для малых предприятий, которые могут экономически эффективно масштабировать свою клиентскую базу. Кроме того, облачные платформы данных обеспечивают более высокий уровень контроля над данными о продуктах и безопасности.

7. Интегрируйте модульные, лучшие в своем классе платформы

Для масштабирования приложений компаниям часто приходится выходить за рамки устаревших экосистем данных, предлагаемых известными поставщиками решений. Многие организации переходят к модульным архитектурам данных, использующим лучшие в своем классе и, зачастую, Open Source-компоненты, которые при необходимости могут быть заменены на новые технологии без ущерба для других частей архитектуры. Предприятие, использующее этот метод, может быстро предоставлять новые цифровые услуги с большим объемом данных миллионам клиентов и подключаться к облачным приложениям в больших масштабах. Организации также могут создать независимый слой данных, включающий коммерческие базы данных и Open Source-компоненты.

Данные синхронизируются с внутренними системами с помощью корпоративной сервисной шины, а бизнес-логика обрабатывается микросервисами, которые размещаются в контейнерах. Помимо упрощения интеграции между разрозненными инструментами и платформами, интерфейсы на основе API снижают риск внедрения новых проблем в существующие приложения и ускоряют время выхода на рынок. Они также облегчают замену отдельных компонентов.

Модернизация архитектуры данных = повышение ценности бизнеса

Модернизация архитектуры данных позволяет компаниям реализовать полную ценность своих уникальных активов данных, быстрее создавать инсайты благодаря инженерии данных на основе ИИ и даже раскрыть ценность унаследованных данных. Современная архитектура данных позволяет сделать данные организации масштабируемыми, доступными, управляемыми и анализируемыми с помощью облачных сервисов. Кроме того, она обеспечивает соответствие требованиям безопасности и конфиденциальности данных, а также доступ к данным в масштабах всего предприятия. Используя современный подход к работе с данными, организации могут повысить качество обслуживания клиентов, обеспечить рост оборота, снизить затраты и получить конкурентное преимущество.