Рассмотрим, как поддерживать скорость цифрового развития бизнеса в условиях ограниченных ресурсов.
Работа в эпоху перемен
В последние месяцы российские компании работают в условиях быстрых изменений. Между тем приоритетом бизнеса остается скорость вывода новых ИТ-продуктов на рынок, их эволюции и обновления. Компаниям приходится поддерживать темпы цифрового развития на фоне ограниченных возможностей и ресурсов.
Выходом из ситуации может стать использование инструментов, которые позволяют перейти с уровня управления ИТ-инфраструктурой к решению актуальных бизнес-задач. Примером такого инструмента являются платформы in-memory вычислений. Они применяются для создания различных цифровых сервисов: витрин данных, кэшей для быстрого доступа к горячим данным, инструментов CDC и др. С их помощью можно выстраивать ИТ-архитектуры, которые позволяют быстро добиваться максимальной производительности.
In-memory платформы также используются для увеличения доступности и надежности инфраструктуры, которая обслуживает запросы к базам данных и кластеры хранения, рассчитанные на миллионы пользователей.
Приведу несколько примеров применения in-memory технологий для решения реальных бизнес-задач.
Кейс № 1: единая витрина управления данными
Банк ВТБ использовал платформу in-memory вычислений для создания единой витрины управления данными клиентов. Платформа агрегирует данные из внешних источников, хранит и отображает их в пользовательских онлайн-каналах. In-memory инструменты для таких задач обеспечивают работу типовых OLTP-систем и позволяют запускать различные профили, кэши, сложные распределенные сервисы хранения кросс-ссылок, на базе которых можно реализовывать
С помощью in-memory платформы банковская система ВТБ интегрирована с цифровым профилем гражданина на «Госуслугах» и с системой межведомственного электронного взаимодействия. Банк получил возможность оперативно обмениваться данными с государственными сервисами, а также упростил и ускорил взаимодействие с клиентами. Так, в онлайн-банке и мобильном приложении появились функция автоматического заполнения анкет для получения банковских услуг. Стала доступна возможность для пользователей самостоятельно редактировать персональные данные в личном кабинете при их изменении с помощью синхронизации со своим профилем на «Госуслугах».
Кейс № 2: авторизация на веб-сервисе
In-memory инструменты решают задачи крупных веб-ресурсов с большим числом пользователей личного кабинета, состоящих из нескольких микросервисов с единым инструментом авторизации.
Крупный государственный веб-сервис столкнулся с проблемой недостаточной производительности. Решать ее было некому из-за отсутствия вендорской поддержки. Развивать инструмент авторизации исключительно внутренней экспертизой было тяжело, кроме того, возникали конкретные технические сложности — например, работа с индексами у СУБД Couchbase.
Для хранилища типа key-value такие индексы — обособленная часть, вынесенная в особый интерфейс, который работает со своими особенностями. Их требуется учитывать при проектировании сервиса, чтобы не возникали «технологические окна» в работе порталов или приложений, когда на час или более авторизация перестает работать.
Организации требовалось осуществить перенос достаточно большой и важной системы хранения для авторизационных данных, которая на тот момент работала в связке с несколькими Java-сервисами.
При росте охвата сервисов in-memory платформа позволила масштабировать нагрузку по конкретным измерениям. То есть появилась возможность добавлять реплики, шарды или роутеры для каких-то конкретных операций.
Кейс № 3: замена привычного ИТ-инструмента «из коробки»
In-memory платформы могут стать альтернативой популярным коробочным решениям. Так, крупный ритейлер искал замену системе Comarch, которая предназначена для создания кампаний по рассылке специальных предложений. В этом инструменте есть модуль для работы с процессингом лояльности и модуль для real-time коммуникаций — их можно дописывать «под себя» самостоятельно.
Система с трудом справлялась с большими объемами клиентов и real-time коммуникации. Кроме этого и раньше заказчикам было тяжело получать необходимую поддержку инструмента. Недавно вендор приостановил работу на российском рынке, и возник спрос на замещение Comarch.
Функционал коробочного продукта реализовали в виде самостоятельных решений. Например, одним из первых запущен сервис процессинга лояльности. В него поступает информация о действиях клиента и его ID. По этим данным на основе правил, которые лежат в витрине, система вычисляет скидку: «если есть категория Х и категория Y, то можно дать скидку в Z процентов или сделать спецпредложение». In-memory платформа обеспечивает быстродействие системы: предложение клиенту должно поступать в режиме реального времени.
Каждой проблеме — свое решение
In-memory решения нужны не всегда, когда речь заходит о быстрой обработке больших объемов данных. Иногда можно обойтись стандартными коробочными продуктами. Например, их вполне хватит для обработки потока логов, по которому нужно делать аналитические выборки, считать сложные агрегаты, объединять воедино большие массивы данных.
Распределенные in-memory хранилища для OLTP-нагрузки необходимы, когда нужно менять данные по ключу, а таких ключей может быть несколько — а значит, изменения, перезапись и чтение происходят постоянно и в больших объемах. Использование привычных коробочных продуктов для таких задач может потребовать вертикального масштабирования и немалых инвестиций.
