Крис Чайлд, вице-президент по продуктам и инженерии данных компании Snowflake, приводит на портале The New Stack пять прогнозов о том, как будет развиваться инженерия данных, чтобы соответствовать требованиям следующего года.
Инженерия данных переживает переосмысление. Дисциплина, которая когда-то была сосредоточена на создании и поддержке конвейеров, становится более стратегической: инженеры проектируют системы, проверяют сгенерированный искусственным интеллектом код и играют более значительную роль в принятии бизнес-решений.
Движущими силами этих изменений являются две силы: постоянно растущая сложность данных и постепенное развитие ИИ. Инженеры данных не могут масштабироваться, просто написав больше кода. Им нужно работать по-другому, а это значит, что необходимо внедрять автоматизацию, брать на себя более высокие обязаности и переосмысливать инфраструктуру, лежащую в основе их архитектуры данных.
Вот пять прогнозов относительно того, как будет развиваться инженерия данных для удовлетворения этих потребностей в 2026 г.
Инженеры данных передадут ключевые задачи агентам ИИ
В следующем году произойдет поворотный момент, когда инженеры данных будут превращаться из строителей в стратегов, готовясь передать ключевые задачи агентам ИИ. Это означает, что ИИ будет переходить от инструмента к роли «второго пилота», закладывая основу для новой эры автономных конвейеров данных.
Если 2025 г. был посвящен подготовке данных для ИИ, то в следующем году инженеры выйдут за рамки написания SQL-запросов и станут архитекторами, которые контролируют и проверяют код, сгенерированный ИИ. Поскольку рост объема данных и сложности конвейеров продолжает опережать рост команд, единственным путем вперед станет внедрение автоматизации. Это проложит путь к третьей фазе, в которой автономные агенты будут управлять и координировать конвейеры, освобождая инженеров для сосредоточения на бизнес-результатах и инновациях.
Следующий год будет важным для инженеров данных, поскольку они заложат основу для агентного ИИ и обеспечат значительное повышение производительности.
Инженеры данных станут партнерами в принятии бизнес-решений
Качество моделей ИИ зависит от качества данных, на которых они обучаются — это подтверждает, что данные являются самым ценным активом бизнеса. Для успеха предприятиям необходим доступ к высококачественным данным в режиме реального времени, и они все чаще полагаются на своих инженеров данных в этом вопросе. Фактически, 72% руководителей согласны с тем, что инженеры данных играют важнейшую роль в успехе их бизнеса.
Этот сдвиг повышает роль инженеров данных, и мы увидим, что все больше бизнес-решений будет учитывать их точку зрения. Соответственно, от инженеров данных будет ожидаться понимание бизнес-контекста, стоящего за решаемыми ими проблемами, включая более широкое влияние на бизнес и потребности клиента. Преимущество получат те организации, которые признают инженеров данных важными бизнес-партнерами, интегрируя их опыт в ключевые обсуждения, чтобы гарантировать, что данные способствуют успеху.
Команды внедрят открытые форматы данных для обеспечения будущего своего ИИ
Хотя инженеры уже долгое время отдают предпочтение открытым форматам за их гибкость и совместимость, бизнес-руководители относились к ним настороженно, опасаясь их сложности и неготовности к внедрению в масштабах предприятия. Эта ситуация меняется, и
Открытые стандарты, такие как Apache Iceberg, необходимы для упрощения архитектуры данных, устранения привязки к поставщику и обеспечения возможности использования одной копии данных для работы нескольких движков. Открытые форматы также помогают организациям снижать затраты, быстрее внедрять решения и сохранять контроль над своими стратегиями работы с данными.
Руководители поймут, что в быстро развивающемся ландшафте ИИ открытые форматы поддерживают адаптивность и скорость инноваций, необходимые их бизнесу для успешной конкуренции.
Метаданные станут полем битвы за лидерство в области данных
В 2026 г. слой метаданных станет критически важной плоскостью управления для современной архитектуры данных. В условиях, когда открытые форматы таблиц, такие как Apache Iceberg, получают все более широкое распространение, а Open Source-каталоги продолжают развиваться, абстрагирование метаданных от хранения и вычислений становится не просто возможным, но и необходимым.
Руководство в области данных больше не сводится к строительству самого большого озера-хранилища данных, а к унификации управления, поиска и доступа в разрозненных системах данных. Именно на уровне метаданных будут решаться вопросы доверия, прозрачности и гибкости, а открытые стандарты обеспечат решающее преимущество. В 2026 г. этот архитектурный сдвиг отделит лидеров рынка от тех, кто останется позади.
Данные станут более мощным фактором дифференциации для ИИ
По мере того, как возможности моделей ИИ сближаются, а разработка приложений становится все более демократичной, отличительной чертой предприятий станет качество и доступность их уникальных собственных данных. Это поставит инженеров данных в центр конкурентной стратегии.
В 2026 г. организации поймут, что их команды инженеров данных являются ключом к созданию конкурентных преимуществ. Это означает, что инженеры должны мыслить шире, чем только о конвейерах данных, и начать проектировать системы, обеспечивающие конкурентное преимущество за счет данных, внедряя надежную отслеживаемость происхождения данных, создавая каталоги, упрощающие поиск собственных наборов данных, и разрабатывая системы управления, защищающие данные и одновременно позволяющие внедрять инновации. Организации, которые предоставят своим командам инженеров данных возможность сосредоточиться на этих задачах, создадут преимущества, которые будет трудно повторить.
За рамками конвейера
Инженерия данных в 2026 г. будет радикально отличаться от того, что было всего несколько лет назад. Инженеры перейдут от выполнения тактических задач к управлению системами, от написания каждой строки кода к проверке конвейеров, созданных ИИ. Слой метаданных станет критически важным полем битвы за лидерство в области данных, а открытые форматы — стандартом для предприятий, серьезно относящихся к ИИ.
Победителями станут организации, которые как можно раньше осознают этот сдвиг. Инженеры данных больше не просто технические специалисты — они деловые партнеры, чьи решения напрямую влияют на конкурентное преимущество. Вопрос для предприятий не в том, принимать ли эту эволюцию. Вопрос в том, готовы ли они предоставить своим командам инженеров данных возможность возглавить ее.
