Если вы прослушаете достаточное количество докладов на конференциях, выступлений поставщиков и заявлений аналитиков, то вам может показаться, что каждая организация на планете теперь может реагировать в режиме реального времени на события, происходящие в течение миллисекунд, пишет на портале ZDNet независимый аналитик Джо Маккендрик.

Хотя это еще не так, жажда реального времени имеет под собой основания. Все новые интересные технологии — искусственный интеллект, предиктивная аналитика, встраиваемые системы, потоковые приложения, мониторинг текущего местоположения, системы оповещения — все это зависит от работы технологий реального времени. Однако они все еще находятся в стадии становления.

Отраслевые исследования показывают, что реальное время — это скорее мечта, чем реальность. Например, согласно исследованию компании Tive «State of Visibility 2023», в области управления цепочками поставок 77% руководителей активно стремятся к обеспечению видимости отгрузок в реальном времени, однако в настоящее время только 25% используют эту возможность. Аналогичным образом, только 23% предприятий, участвовавших в исследовании Unisphere Research и ChaosSearch «2022 Data Delivery and Consumption Patterns Survey Report», сообщили, что информация доступна конечным пользователям в режиме реального времени.

Точечная реализация возможностей реального времени может быть вполне приемлемой для большинства ситуаций. «Большинству предприятий не нужны данные реального времени», — говорит Ник Амабиле, генеральный директор компании DAS42. Все сводится к тому, являются ли потребности оперативными или аналитическими.

«Операционные системы часто нуждаются в данных в реальном времени для решения задач, связанных с информационной безопасностью, таких как мониторинг угроз безопасности, персонализация в маркетинге, логистика, тенденции в перевозках, оптимизация затрат, повышение качества обслуживания клиентов, обнаружение мошенничества и торговые стратегии», — поясняет Амабиле.

Аналитические потребности, с другой стороны, могут допускать определенную степень задержки. «Для аналитических задач сначала надо определить SLA для приемлемой задержки, — говорит Амабиле. — Возможно, отчетность для пользователей должна быть в реальном времени, а отчетность для руководителей может быть раз в несколько часов. Однако заинтересованные стороны часто запрашивают данные и отчетность в реальном времени для тех сценариев, где пакетная обработка еще может быть приемлемой».

Руководители также могут захотеть избирательно подходить к тому, где применять подход реального времени, поскольку он также означает масштабную и дорогостоящую модернизацию инфраструктуры. «Уровень готовности к внедрению систем реального времени в различных организациях сильно различается, — говорит Тайсон Траутман, вице-президент по инженерным вопросам компании Fauna. — Крупные организации, особенно в таких технологически ориентированных отраслях, как финансы, электронная коммерция и технические сервисы, часто имеют надежную инфраструктуру, способную работать с данными реального времени. Однако эти возможности часто создавались путем добавления сложных слоев поверх унаследованных продуктов, которые изначально не поддерживали работу с данными в реальном времени. Это приводит к высокой операционной нагрузке».

Стоит ли тратить усилия и средства на переход к данным реального времени? «Требуемая инфраструктура и сложность создания, запуска и эксплуатации систем реального времени часто не оправданы преимуществами перехода от пакетной обработки данных к истинному реальному времени, — говорит Амабиле. — Зачастую для большинства сценариев использования системы, работающие в режиме, близком к реальному времени, имеют такую же ценность, как и системы, работающие в реальном времени».

Поскольку реальное время также означает молниеносное перемещение аналитических данных от источника к системе, необходимо позаботиться о том, чтобы эти данные были проверены и заслуживали доверия. «Рост объема данных привел к тому, что предприятиям приходится регулировать, управлять и оценивать большой объем сложных данных, зачастую содержащих обширные массивы данных из различных источников, — говорит Сэм Пирсон, старший вице-президент компании Qlik. — Очень важно, чтобы организации имели сильную стратегию и надлежащую инфраструктуру работы с данными, обеспечивающую использование самых свежих данных из достоверных и надежных источников в режиме реального времени, иначе решения могут приводить к неправильным результатам».

Вопросы качества данных необходимо решать заблаговременно. «При работе с данными реального времени часто не хватает времени на их очистку и подготовку перед использованием, — говорит Траутман. — Это может приводить к принятию решений на основе неполных или неточных данных — к потенциально плачевным результатам».

Вопрос доверия в реальном времени «приобретает еще большее значение в мире, где растет интерес к генеративному ИИ и его использованию, — отмечает Пирсон. — Возможность доверять данным, которые предоставляются сотрудникам, и знать наверняка, что они достоверны и подходят для использования, очень важна для обеспечения соответствия нормативным требованиям, безопасности данных и управления ими, а также для принятия в нужный момент решений, которые принесут нужный эффект».

Хорошо функционирующая и заслуживающая доверия система реального времени или потоковой передачи данных «требует сложной архитектуры, инфраструктуры и навыков программирования, выходящих за рамки возможностей обычной команды специалистов по анализу данных или инженеров по данным, — говорит Амабиле. — Кроме того, необходимо учитывать множество других факторов, связанных с выпуском и развертыванием, мониторингом и протоколированием, управлением, безопасностью и интеграцией с бизнес-приложениями, приложениями для клиентов и аналитическими системами».

Хорошая новость заключается в том, что существуют инструменты и платформы, которые делают реальное время более реальным — даже для малых и средних организаций с ограниченным ИТ-бюджетом. За последнее десятилетие «появление новых предложений по созданию инфраструктуры реального времени позволило гораздо более широкому кругу организаций воспользоваться возможностями реального времени», — говорит Траутман.

По его словам, крупные поставщики облачных услуг развернули управляемые сервисы, предназначенные для обработки данных в реальном времени, включая сервисы потоковых данных и аналитики реального времени. «Развитие распределенных баз данных, баз данных in-memory и баз данных временных рядов позволяет повысить эффективность работы с данными в реальном времени, — отмечает Траутман. — Такие Open Source-предложения, как Apache Kafka, Apache Flink и Apache Storm, еще больше расширили экосистему обработки данных в реальном времени».

Кроме того, по его словам, рост периферийных вычислений также повысил эффективность обработки данных в реальном времени, особенно для приложений IoT, а потенциал технологии 5G, обеспечивающий снижение задержек и повышение возможностей обработки данных, открывает новые горизонты для приложений реального времени.

Тем не менее «внедрение инфраструктуры данных реального времени сегодня происходит неравномерно, — отмечает Пирсон. — Мы часто видим разрыв между отраслями, более ориентированными на технологии, которые, как правило, раньше внедряют модели реального времени, и такими отраслями, как электронная коммерция и финансы, где на это может потребоваться больше времени». Кроме того, по его словам, большинство организаций используют огромное количество технологий управления данными и облачных провайдеров, что создает сложности и затруднения при доступе и предоставлении данных в режиме реального времени. Еще одним осложняющим фактором являются правила управления и конфиденциальности.