Параллельные вычисления занимают центральное место в ряде ключевых современных технологий. Вопрос о том, нужны ли ИТ-отделам штатные специалисты в этой области, или лучше прибегнуть к аутсорсингу, на портале InformationWeek обсуждает Мэри Шеклет, президент консалтинговой компании Transworld Data.
Параллельные вычисления используются для обработки больших данных, аналитики, ИИ и даже в процессорах настольных компьютеров и ноутбуков. Это далеко не новшество. Первые проекты по параллельной обработке данных появились в
Крупные банки, такие как Wells Fargo и JP Morgan Chase, используют параллельную обработку данных для управления финансовыми рисками своих портфелей, а Национальная лаборатория Оук-Ридж — для оценки вероятности психических заболеваний у детей. Корпоративные пользователи параллельных вычислений (наряду с университетами и исследовательскими центрами это крупные предприятия таких отраслей, как фармацевтическая, нефтегазовая и медико-биологическая и ритейл, деятельность которых зависит от высокоскоростной обработки больших объемов данных), располагают финансовыми ресурсами и внутренними специалистами для самостоятельного запуска приложений параллельной обработки. Однако есть и тысячи других компаний, которым сегодня нужны ИИ, обработка больших данных и аналитика, но у них нет таких же убедительных сценариев использования или финансовой гибкости для развития внутреннего кадрового ресурса для работы в средах параллельной обработки.
Что же им делать?
Аутсорсинг: логичный ответ
Наиболее логичным ответом для большинства организаций является передача больших данных и параллельных вычислений на аутсорсинг поставщикам облачных услуг, которые обладают достаточными возможностями и кадрами для их выполнения. Это могут быть сервисы «под ключ» в том смысле, что они предоставляют и параллельную обработку, и приложение; или же это могут дата-центры для колокации, где ИТ-отдел просто размещает свои приложения. В обоих случаях есть весомый аргумент в пользу того, что штатным ИТ-специалистам компании не нужны специальные знания в области параллельной обработки, поскольку все, что им нужно, — это обеспечить доступ к облачному сервису.
Аутсорсинг — это решает все вопросы?
Для большинства компаний аутсорсинг параллельных вычислений — это выход из положения при использовании ИИ, аналитики или любых других приложений, требующих быстрой обработки огромных массивов данных.
Однако есть компании, которые находятся где-то посередине. Они не настолько велики или богаты, чтобы позволить себе целый штат экспертов по системам параллельной обработки, но важность их сценариев использования параллельных вычислений делает необходимым, чтобы штатные ИТ-специалисты хотя бы немного разбирались в платформах параллельной обработки данных и в работе, которую они выполняют. В этих случаях ИТ-отделу требуется внутренняя экспертиза.
Наиболее вероятными областями, которыми ИТ-отделу придется заниматься, являются следующие четыре:
Наем специалистов по параллельной обработке данных
Более чем вероятно, что в организации не найдется специалистов по параллельной обработке данных. Персонал с такими навыками также нелегко найти через обычные каналы рекрутинга.
Однако программирование параллельных вычислений преподают в университетах, и там приобретаются системные навыки в этой области.
Один из подходов, который может использовать ИТ-отдел, — это партнерство с университетами, в которых есть программы по параллельной обработке данных. Компании могли бы сотрудничать с преподавателями и предлагать стажировку перспективным студентам. Студенты, успешно прошедшие стажировку, могут быть приняты на постоянную работу в компанию для разработки и поддержки параллельных вычислений.
Навыки, которыми они будут обладать, включают в себя умение анализировать и настраивать параллельные вычисления и соответствующее ПО для решения сложных задач, выполнения алгоритмов и быстрой обработки больших объемов данных. Кроме того, они будут знать, как оптимизировать многопоточные данные и ИИ для достижения максимальной производительности.
Введение бизнес-аналитиков в среду параллельной обработки и ИИ
Со временем происходит дрифт аналитики, получаемой в результате параллельной обработки, от намерений бизнеса. Это может быть вызвано снижением актуальности данных или изменением бизнес-целей.
Операции параллельной обработки, выполняемые поставщиком облачных услуг, не будут чувствительны к этому. С пользователями должен работать именно бизнес-аналитик ИТ-службы, проверяя и перепроверяя результаты обработки на точность, а затем при необходимости пересматривая потоки данных и/или алгоритмы.
Использование бизнес-аналитиков и специалистов по базам данных для сужения воронки данных
Пару лет назад в Европе выполнялся проект параллельной обработки данных по конкретной молекуле Covid-19. Цель заключалась в выделении элементов этой молекулы для создания рецепта вакцины.
На начальном этапе проекта документы и артефакты со всех уголков мира поступали в суперкомпьютер для оценки. Вскоре исследователи пришли к выводу, что для экономии времени необходимо сократить объем исходных сырых данных.
Они решили сузить воронку данных, поступающих в компьютер для обработки, до тех документов и артефактов, которые были непосредственно связаны с изучаемой молекулой. Технический обработчик данных не знал, как это сделать, но зато знали эксперты по предметной области на стороне пользователя.
С такой же проблемой сталкиваются компании, передающие параллельную обработку на аутсорсинг. Они должны с помощью экспертов по предметной области, бизнес-аналитиков и аналитиков баз данных определить, как сузить воронку поступающих исходных данных, а затем направить их облачному обработчику.
Мониторинг потребления ресурсов
ИТ-специалисты по системам хранения, сетям и системам должны регулярно оценивать затраты на параллельную обработку и ее производительность в облаке. Если затраты превышают бюджет, есть ли для этого веские причины? Если причина не веская, то какие действия необходимо предпринять для снижения затрат? Чтобы ответить на эти вопросы и принять соответствующие меры, эти специалисты должны иметь фундаментальные знания о параллельной обработке и о том, как она работает.
Резюме
Большинство компаний предпочтут передать параллельные вычисления, ИИ и аналитику на аутсорсинг поставщикам облачных вычислений, но это не означает, что ИТ-отделу не потребуются штатные навыки и знания в области параллельных вычислений.
Сотрудники ИТ-службы, прошедшие перекрестную подготовку по параллельной обработке данных, не обязательно должны быть специалистами по исследованию данных, но они должны обладать достаточными знаниями о мире параллельной обработки данных, а также об аналитике и ИИ, которым она служит. Подготовка персонала для параллельных вычислений — это открытый вопрос, который CIO придется решать.
