По мере того как искусственный интеллект увеличивает сложность и объем данных, Open Source-решения, такие как OpenTelemetry, и новые подходы к управлению затратами становятся движущей силой перемен на рынке средств наблюдаемости, пишет на портале The New Stack Кришна Ядаппанавар, соучредитель и генеральный директор Kloudfuse, унифицированной платформы наблюдаемости.

Рынок средств наблюдаемости претерпевает значительные изменения под влиянием новых технологий и меняющихся требований. Вот четыре ключевых тенденции, которые окажут на него существенное влияние:

1. ИИ-революция: LLM и наблюдаемость

ИИ и большие языковые модели (LLM) меняют способы мониторинга систем. Облачные системы генерируют большое количество данных, и ИИ помогает выявлять скрытые проблемы и устранять их автоматически. Он может обнаружить аномалии и отрегулировать такие параметры, как использование процессора, чтобы избежать простоев. Кроме того, LLM облегчают понимание технических проблем, объясняя их простым языком.

И наоборот, LLM и генеративный ИИ также нуждаются в сильной наблюдаемости для достижения высоких результатов. Существует три ключевых области, в которых LLM выигрывают от использования инструментов наблюдаемости:

  • Управление ресурсами. LLM могут быть очень ресурсоемкими, требующими значительных вычислительных мощностей и объемов памяти. Инструменты наблюдаемости отслеживают эти ресурсы, чтобы оптимизировать развертывание и контролировать расходы. Например, отслеживание флуктуаций в использовании LLM процессора и памяти может предотвратить неожиданные скачки расходов, обеспечив их своевременную корректировку.
  • Контроль производительности. LLM могут генерировать неточные результаты — это явление известно как галлюцинация. Внедрение сквозной трассировки позволяет отслеживать жизненный цикл запроса от отправки до получения ответа, что помогает выявить места возникновения неточностей. С помощью наблюдаемости можно также отслеживать, как часто требуется регенерировать ответы или оценивать удовлетворенность пользователей полученными результатами в качестве индикатора проблем с производительностью.
  • Обнаружение дрейфа модели. Инструменты наблюдаемости могут определить, когда производительность LLM отклоняется от ожидаемых норм, путем мониторинга ключевых показателей эффективности (KPI). Значительные отклонения от исторических данных могут вызвать предупреждения, побуждающие инженеров к повторной калибровке моделей и поддержанию их эффективности.

2. Унифицированные озера данных

Традиционно наблюдаемость сводилась к мониторингу метрик и анализу журналов. Метрики дают высокоуровневое представление о производительности системы, например о времени отклика и количестве ошибок. Журналы предоставляют подробную информацию о событиях и ошибках, что очень важно для устранения конкретных проблем.

Однако современным организациям нужны более полные инсайты, что привело к появлению озер данных наблюдаемости. Этот сдвиг обусловлен следующими факторами:

  • Распределенная трассировка — необходимая вещь. Поскольку микросервисы становятся все более распространенными, трассировка необходима для отслеживания того, как транзакции проходят через систему. Трассировка помогает определить потоки запросов и узкие места в распределенных системах, что требует более глубокого анализа данных, включая карты зависимостей и показатели производительности по различным факторам, таким как время, местоположение и идентификатор сервиса. Озера данных наблюдаемости предлагают интегрированные графики данных для наглядного представления производительности системы и ее узких мест.
  • Упрощение анализа первопричин. Вместо того чтобы вручную анализировать отдельные потоки данных в поисках первопричины проблемы, озеро данных объединяет метрики, журналы и трассировки в единое представление. Так легче понять не только то, что пошло не так, но и почему; это позволяет быстрее и эффективнее проводить расследования и устранять неполадки.
  • Растущие потоки данных. По мере появления новых потоков данных наблюдаемости, связанных с мониторингом реальных пользователей, непрерывным профилированием и наблюдаемостью системы безопасности, озера данных приобретают еще большее значение. Они объединяют эти данные, обеспечивая полное представление о производительности приложений.
  • Унификация операций. Кроме того, озера данных унифицируют наблюдаемость в различных операционных областях, таких как DevOps, ITOps, DataOps, FinOps, AIOps и LLM Ops. Объединяя данные в одном месте, организации могут сократить свои ресурсы, расходы на вычисления и повысить надежность всех систем.

3. Подъем OpenTelemetry

OpenTelemetry (Otel) набирает обороты как ответ на привязку к поставщику, разрозненные подходы к наблюдаемости и необходимость стандартизации. Согласно последнему отчету Cloud Native Computing Foundation, вклад в разработку Otel снесли 1106 компаний и 9168 человек. Являясь Open Source-проектом, движимым инновациями сообщества, Otel предоставляет единый фреймворк для мониторинга различных систем и приложений, упрощая интеграцию наблюдаемости на различных платформах.

Растущее распространение Otel обусловлено его совместимостью с широким спектром технологий, особенно с теми, которые выигрывают от его автоинструментализации, например, с приложениями на Java и Python. Такая гибкость помогает организациям избежать привязки к одному поставщику и позволяет им адаптировать решения по наблюдаемости к своим конкретным потребностям. По мере развития требований к наблюдаемости Otel, вероятно, будет играть еще большую роль в стимулировании инноваций и обеспечении совместимости.

4. Контроль над расходами с помощью частных развертываний

По мере увеличения объемов данных наблюдаемости резко возрастают расходы, и некоторые компании сталкиваются с многомиллионными счетами. Помимо этого компании также платят за перенос своих данных в SaaS-продукты наблюдаемости. Традиционные модели ценообразования SaaS не выдерживают конкуренции, что заставляет многие организации искать альтернативные решения.

Растущая тенденция — перенос решений по наблюдаемости в частные облака. Такой переход позволяет компаниям лучше контролировать свои данные и расходы. Частные облачные решения можно настраивать в соответствии с конкретными потребностями и бюджетом, что снижает общие расходы на наблюдаемость.

Заключение

Рынок наблюдаемости переживает переломный момент: его формируют достижения в области ИИ, растущие сложность и объем данных, а также решения с открытым исходным кодом, такие как OpenTelemetry, и новые подходы к управлению расходами на наблюдаемость. По мере развития этих тенденций будут пересматриваться способы мониторинга, управления и оптимизации цифровых сред организаций. Чтобы идти в ногу с развитием этого динамичного ландшафта, необходимо адаптироваться к его изменениям и использовать новые инструменты и стратегии для поддержания эффективности и результативности наблюдаемости.