Компания LinkedIn, хорошо известная внутри сообщества разработчиков своими инновациями, вероятно наиболее знаменита своей разработкой Kafka — Open Source-платформой потоковой обработки данных, обеспечивающей унифицированную обработку передаваемых данных в реальном времени с высокой пропускной способностью и низкими задержками.
Теперь этот оператор социальной сети для специалистов предпринял новый аналогичный шаг. 28 августа он предоставил сообществу Open Source продукт под названием Cruise Control — систему общего назначения, осуществляющую непрерывный мониторинг серверных кластеров и автоматическую настройку выделения для них ресурсов в соответствии с заранее заданными показателями производительности.
Cruise Control и Kafka работают рука об руку. По сути дела, когда пользователи Kafka задают показатели производительности, Cruise Control отслеживает работу серверных кластеров на предмет отклонения от этих показателей, анализирует текущую рабочую нагрузку на кластер и автоматически исполняет административные операции, приводящие работу кластеров к норме. Как и в большинстве ИТ-продуктов нового поколения, здесь все направлено на быстродействие и автоматизацию.
Вы можете посмотреть видео о том, как работает Cruise Control.
Факт, что за последние несколько лет популярность Apache Kafka значительно выросла. Следует также отметить, что нагрузка на собственные системы LinkedIn, состоящие из более 1800 серверов, недавно превзошла ошеломляющую цифру в 2 трлн. сообщений в день.
Хотя Kafka доказала свою стабильность, при ее использовании в таком масштабе все же возникают операционные проблемы, написал в корпоративном блоге разработчик LinkedIn Джанджи Куин. Отказы серверов происходят практически повседневно, что приводит к несбалансированным нагрузкам на кластеры. В результате инженеры, отвечающие за надежность систем, тратят массу времени и сил на перераспределение разделов для восстановления баланса нагрузки в кластерах Kafka, отметил он. «В этих обстоятельствах критически важна интеллектуальная автоматизация, что и стало причиной, почему мы разработали Cruise Control», — написал Куин.
