Руководителям ИТ-подразделений необходимо осознать, что существует проблема управления сложностью данных в многооблачных средах, а затем продумать подходы к ее решению. Тогда легче будет понять, какую технологию следует использовать, пишет директор Deloitte Consulting по облачной стратегии Дэвид Линтикум на портале InformationWeek.

Сегодня миграция в облака может осуществляться посредством простого переноса данных при минимальных затратах труда. Обычно они сводятся к внесению изменений в приложения и данные, чтобы те более эффективно работали на облачной платформе. Все чаще происходят миграции в многооблачные среды, в результате которых появляются новые проблемы со сложностью данных. При управлении многооблачными архитектурами руководителям ИТ-подразделений и специалистам по облакам важно продумать, как справиться со сложностью данных.

Причины возникновения проблем со сложностью данных хорошо известны. Они включают следующие:

  • расширяющееся использование неструктурированных данных, не имеющих заложенных в них схем. Обычно схемы определяются в момент доступа к данным;
  • расширяющееся использование потоковых данных, к которому многие компании прибегают для сбора информации по мере ее поступления и последующей обработки «на лету»;
  • расширяющееся использование устройств IoT, порождающих огромные объемы данных;
  • меняющаяся природа транзакционных СУБД, переход к СУБД типа NoSQL и другим нереляционным моделям;
  • продолжающаяся практика создания специализированных СУБД для конкретных приложений;
  • наконец, и это самое важное, распространение облачных СУБД в форме «как сервис», предоставляемых сейчас всеми основными облачными провайдерами. Они становятся предпочтительными СУБД для приложений в публичных облаках и вне их. Более того, предпочтение отдается использованию гетерогенных распределенных СУБД в многооблачных архитектурах.

Проблемы многооблачности

Сегодня основная масса тех, кто работает с данными, пытается хотя бы не допустить возрастания их сложности. О ее снижении речь не идет. Миграция данных в новые многооблачные системы — это, скорее, пустая трата денег, чем решение. Необходимо фундаментальное понимание, как следует управлять сложностью данных, а также самими данными и их безопасностью. Нам явно недостает новых подходов и технологий, которые позволили бы избавиться от связанных со сложностью данных недостатков многооблачных сред.

Основная проблема заключается в переходе к таким архитектурам приложений, которые разрывают связь между СУБД и приложениями, или даже к коллекциям сервисов, чтобы работать с данными на ином уровне абстракции. Применение абстракции не ново. Но до недавнего времени не было соответствующих возможностей. К таким возможностям относятся управлением мастер-данными (MDM), использование сервиса данных и работа с физическими СУБД с использованием механизма конфигурирования, способного объединить изменчивость и сложность.

Провайдеры предоставляют такую функцию сервисов ПО промежуточного уровня, как виртуальные СУБД, которые создают уровень конфигурируемой структуры и управления поверх существующих физических СУБД, если требуется. Это позволяет изменять способ доступа к СУБД, создавая обычные механизмы доступа, которые могут изменяться на уровне промежуточного ПО и не требуют внесения рискованных и дорогостоящих изменений в физическую СУБД.

Выше в стеке ПО находятся оркестрирование данных и управление ими. Эти уровни обеспечивают управление корпоративными данными и предоставление таких сервисов, как MDM, восстановление, управление доступом, производительностью и т. д. Речь идет о базовых сервисах, размещаемых поверх физических или виртуальных СУБД в облаке или локально.

На следующем уровне находятся базовые сервисы данных или микросервисы и осуществляется управление ими. Управление и безопасность обеспечиваются с помощью обычных уровней управления и безопасности, которые позволяют отслеживать сервисы, предоставлять возможность их использования, контролировать их и предоставлять к ним доступ любому числу запрашивающих приложений или пользователей.

Действуйте немедленно

Большинство предприятий игнорируют быстрый рост объема и сложности данных. Многие рассчитывают на чудо, которое решит их проблемы, например, со стандартами. Быстрое расширение использования многооблачных сред означает, что проблемы со сложностью данных следует умножить на число провайдеров публичных облаков. Таким образом, сложность превращается из основной проблемы в главное препятствие для эффективного использования многооблачности в интересах бизнеса.

Необходимо признать существование проблемы, а затем продумать потенциальные решения и подходы. После этого можно будет сравнительно легко определить, какую технологию следует использовать.

Не стоит заблуждаться относительно возможности решить проблему с помощью инструментов. Сами по себе инструменты не позволят справиться со сложностью.

Учитывая сказанное выше, следует сделать следующее. Во-первых, определить уровень логического доступа к данным, который может использовать любую предназначенную для СУБД систему хранения. Во-вторых, определить уровень управления метаданными с учетом общих требований к безопасности и управлению.

Решение находится на концептуальном уровне. Создание еще одного сложного комплекса технологий поверх существующих не позволит решить проблему.