Ведущий инженер по обработке и анализу данных крупнейшей нефтедобывающей компании Казахстана Султан Ербулатов рассказал, как облачные решения помогают развитию бизнеса.
Способность эффективно работать с информацией становится одним из главных движителей развития бизнеса, в том числе нефтегазовой отрасли. Объем мирового рынка аналитики больших данных в 2023 году составил 307,51 млрд. долларов. В
Геологоразведка
При растущей потребности в нефти и газе глобальные ресурсы энергетических ископаемых ограничены. К примеру, запасы «черного золота» за полвека интенсивной добычи уже выработаны наполовину. Поэтому предприятия нефтегазового сектора уделяют особое внимание поиску залежей. Султан Ербулатов внедрил на «Тенгизшевройле» (ТШО) аналитику на основе облачной платформы Microsoft Azure, помогающую оптимизировать геологоразведку.
«Microsoft Azure — популярная облачная платформа, которая предоставляет доступ к широкому спектру инструментов и сервисов для обработки и анализа данных, машинного обучения и искусственного интеллекта, — говорит Султан. — Кроме того, она гарантирует повышенную безопасность, поэтому мы можем быть уверены в том, что вся наша ценная информация защищена от киберпреступников».
Чтобы выяснить, есть ли в конкретном месте ископаемые и насколько экономически оправданной будет разработка, ТШО использует сейсмический анализ на основе данных, собранных с датчиков в местах предполагаемого бурения. Султан Ербулатов обрабатывает и анализирует эти данные, применяя инструменты облачной платформы.
Один из этих инструментов — Azure Data Lake Storage: Султан использует его как единое хранилище для всех типов данных, связанных с геологоразведкой, сейсмикой и моделированием, включая структурированные, полуструктурированные и неструктурированные данные, защищенные с помощью многоуровневой системы безопасности. Обработку и анализ огромного объема сейсмических данных, полученных в ходе геологоразведки, дата-инженер проводит на управляемых платформах Hadoop и Spark. Сервис Azure Databricks помогает создавать сложные трансформации данных для обработки и анализа. Инструмент Azure Machine Learning Studio, который Султан называет своим незаменимым помощником, используется при создании, обучении и развертке моделей машинного обучения для автоматизации интерпретации сейсмических данных, выявления аномалий и прогнозирования свойств месторождений. Наконец, для хранения результатов прогнозирования, полученных в результате машинного обучения, дата-инженер использует сервис Azure Synapse Analytics.
Система обработки и анализа больших данных, которую внедрил Султан Ербулатов, позволяет ТШО получать исчерпывающую картину конкретного участка и выявлять перспективные месторождения, прежде чем принимать решение о бурении. Возможность принимать более точные решения экономит огромные средства компании.
Оптимизация производства
Еще один ключевой момент для предприятий нефтегазового сектора — оптимизация производительности. Чтобы отслеживать добычу ископаемых и контролировать состояние оборудования, на современных буровых установках используются датчики, которые устанавливают на скважинах, насосных станциях, системах измерения расхода для генерации данных, рассказывает Султан Ербулатов. Внедрив на ТШО платформу Azure, инженер получил возможность использовать гигантские объемы информации, поступающей с сенсоров бурового оборудования, для улучшения эффективности производства.
«После интеграции данных, которые могут быть неполными, шумными и несогласованными, я применяю методы их очистки и подготовки к анализу, используя Spark и Hadoop, — рассказывает Султан. — Затем с помощью
Результаты анализа Султан визуализирует с помощью интерактивной панели управления Power BI, так что инженеры и менеджеры ТШО получают наглядную картину тенденций для выявления проблем и оптимизации решений.
Ведущий дата-инженер ТШО также помогает оптимизировать использование производственных ресурсов, собирая и анализируя данные о потреблении энергии на различных этапах производственного процесса, поступающие с умных счетчиков и систем мониторинга. Для этого он разрабатывает модели, предсказывающие влияние температуры, давления, режима работы и других факторов на энергопотребление, а затем, используя линейное программирование и симуляции методом Монте-Карло, заставляет систему генерировать рекомендации по оптимизации режимов работы, настройке оборудования и использованию ресурсов для повышения энергоэффективности.
Инфраструктура данных, развернутая Султаном Ербулатовым, позволяет различным подразделениям ТШО в режиме реального времени вести мониторинг рабочих процессов, что обеспечивает точность принятия решений и оптимизацию производства.
Прогнозирование и предотвращение сбоев
Нефтегаз относится к сложным и дорогостоящим в обслуживании производствам. Чтобы сократить простои и снизить затраты на техническое обслуживание, необходимо на ранней стадии выявлять потенциальную неисправность оборудования. Султан Ербулатов внедрил систему прогнозной аналитики на основе сервиса Synapse Analytics, которая позволяет предсказать возможные сбои, опираясь на исторические данные и показания датчиков оборудования в реальном времени.
«Мой подход охватывает комплекс мер по первичному сбору с различных источников данных, ETL в централизованное хранилище данных Data Lake Storage, очистку, обработку и трансформацию данных с помощью Spark и дальнейший анализ при помощи машинного обучения либо визуализации и интерактивных отчетов при помощи Power BI», — говорит Султан.
Информация, полученная в результате обработки и анализа, позволяет убедиться в том, что машины работают должным образом и предприятию не грозят поломки и сбои в работе. Или же наоборот — что оборудование ведет себя необычно, например демонстрирует превышение уровня вибрации, и необходимо провести профилактический ремонт.
Углубленный анализ данных, который проводит Султан Ербулатов, позволяет соответствующим службам ТШО получать актуальную информацию о состоянии оборудования и проактивно планировать техническое обслуживание. Благодаря этому производство функционирует с меньшим количеством простоев, экономятся время и ресурсы.
Управление данными — развитие отрасли
Microsoft Azure не единственное облачное решение, которое использует Султан Ербулатов. В его рабочем арсенале также системы управления базами данных (СУБД), фреймворки мощных языков программирования, таких как Python, R, Scala, платформа оркестровки рабочих процессов Apache Airflow и инструменты DevOps: система контроля версий для отслеживания изменений в коде Git, платформа контейнеризации для упаковки кода и его зависимостей в единый контейнер Docker, а также Kubernetes — оркестровка контейнеров для управления развертыванием и масштабированием контейнеризованных приложений.
Владение современными методами работы с большими данными и успешный опыт их применения принесли ведущему дата-инженеру ТШО приглашение в экспертный совет премии Digital Leaders Award 2024. Вместе с другими авторитетными профессионалами в области IT, выбранными в члены жюри, Султану Ербулатову предстоит решать судьбу наград, которыми награждают на конкурсе авторов наиболее ярких и инновационных проектов в сфере цифровизации продуктов, процессов, сервисов.
Практика самого Султана Ербулатова доказывает, что успешный анализ обширных массивов информации помогает облегчить выбор месторождений, оптимизировать процесс добычи и производства, снизить эксплуатационные расходы, предсказать отказы оборудования, предотвратить утечку конфиденциальных данных. Комплексная работа по интеллектуализации производства, которую внедряют лучшие дата-инженеры нефтегазовой отрасли, может существенно повышать эффективность предприятий, представляющих ключевую отрасль мировой экономики
