Правительства развитых стран рассматривают сегодня высокопроизводительные вычисления (High Performance Computing, HPC) не иначе как важнейший фактор обеспечения безопасности и конкурентоспособности государства. Для научных и образовательных учреждений они являются важным инструментом проведения исследований, а для крупных предприятий — способом снижения затрат и повышения эффективности бизнеса.

По уровню развития и распространения высокопроизводительных вычислений Россия пока заметно отстает от передовых в этом отношении стран, но за последние несколько лет при поддержке государства и ряда коммерческих компаний это направление из узкоспециального превратилось в престижное учебное направление в вузах и стало популярной темой в медийном пространстве. Уже не актуальны дискуссии о том, что отечественному суперкомпьютингу не хватает задач, а приобретаемые академическим сектором кластеры простаивают. Кроме того, уже и многие частные компании начинают воспринимать HPC-системы как фактор обеспечения своей конкурентоспособности на рынке, что обуславливает интерес к этой сфере широкого круга специалистов.

В данном тематическом обзоре мы предоставили слово экспертам — руководителям и специалистам компаний, специализирующихся в создании и продвижении HPC-систем, и с их помощью попытались что называется крупными мазками обрисовать картину рынка.

HPC в структуре ИКТ-рынка: значение и влияние

По мнению заместителя генерального директора по продуктам и технологиям компании “Т-Платформы” Алексея Комкова, рынок высокопроизводительных кластеров традиционно занимает незначительную долю в общем объеме ИКТ-рынка, однако представленные на нем решения оказывают существенное влияние на создание и дальнейшее развитие новейших технологий. Нередко новые конструктивные компоненты непосредственно моделируются на суперкомпьютере. Еще чаще технологии, впервые опробованные и зарекомендовавшие себя в HPC, со временем становятся стандартом множества разработок, ориентированных на более массовый рынок. Например, интерконнект InfiniBand изначально разрабатывался для высокопроизводительных кластеров, а сейчас все больше используется в составе облачных инфраструктур и в других решениях за пределами HPC. Аналогичным образом в массы перешли и массивно-параллельные парадигмы программирования.

Рассматривать HPC в качестве флагмана развития новых технологий также склонны системный архитектор "IBM в России и СНГ" Дмитрий Тяхти, директор бизнеса Tesla в Nvidia Сумит Гупта, руководитель направления высокопроизводительных вычислений "HP в России" Андрей Юдин, технический директор группы Arbyte Юрий Дроненко и исполнительный директор группы компаний РСК Алексей Шмелев. При этом г-н Шмелев дополняет список HPC-решений, ставших актуальными на массовом рынке, двумя собственными примерами. Первый из них касается концепции многоядерных процессоров, которые впервые были разработаны для осуществления принципиально более быстрых вычислений и применялись именно в суперкомпьютерах или для создания мощных серверов и рабочих станций; сегодня многоядерные процессоры установлены в каждом настольном ПК и во многих моделях смартфонов и планшетов. Второй пример и вовсе затрагивает сверхпопулярную на сегодняшний день тему облачных вычислений. Данная технология, по мнению г-на Шмелева, выросла из развития концепции суперкомпьютерных grid-систем.

Говоря о HPC в структуре ИКТ-рынка, Алексей Шмелев, Андрей Юдин, а также, менеджер по маркетингу продукции Fujitsu Павел Борох указывают на определенную общность данного сегмента с серверным рынком. Г-н Борох считает, что к HPC можно отнести, по разным оценкам, до 20% поставляемых серверов в штуках. По мнению г-на Шмелева, речь идет о 25%, правда он не уточняет, дана ли эта оценка в количественном или денежном выражении. При этом все спикеры соглашаются с тем, что сегмент HPC растет быстрее серверного рынка и вообще является одним из самых быстрорастущих сегментов на корпоративном рынке ИКТ. Его сегодняшние объемы, по разным данным, составляют порядка 10—15 млрд. долл. в год с ежегодным приростом на уровне 8—10%.

Сегментация рынка HPC

В отличие от предыдущего пункта обзора, в данном вопросе наши эксперты были не столь единодушны. Так, Павел Борох считает, что сегментировать рынок HPC целесообразно по размеру пользователя и соответственно размеру решения: суперкомпьютеры, решения уровня подразделения, уровня рабочей группы и уровня отдела (здесь можно представить “персональный суперкомпьютер” для нескольких дизайнеров, например).

Сумит Гупта склонен делить рынок, ориентируясь на заказчиков решений, — суперкомпьютерные центры, университеты и НИИ, а также правительственные и оборонные организации. На рынке корпоративных заказчиков он выделяет несколько вертикальных сегментов, в которых эффективные высокопроизводительные вычисления жизненно необходимы для дальнейших инноваций и решения регулярных вычислительных задач. Среди них — области, связанные с естественными науками, компьютерный инжиниринг и др.

В каком-то смысле оба вышеупомянутых подхода использует при сегментации рынка Андрей Юдин, называя это классификацией по цене и по сфере применения. Ценовая сегментация (по методологии, разработанной IDC в сотрудничестве с ведущими мировыми вендорами в 2007 г.) разделяет рынок на четыре составляющие: суперкомпьютеры (системы по цене больше 500 тыс. долл.), серверы уровня технических направлений (свыше 250 тыс. долл.), серверы уровня технических департаментов (более 100 тыс. долл.) и серверы рабочих групп (менее 100 тыс. долл.). При этом со ссылкой на классификацию, принятую в его компании, г-н Юдин добавляет к общей картине пятую категорию — персональный суперкомпьютер на рабочем столе.

По сферам применения, по словам г-на Юдина, рынок сегментируется следующим образом: фундаментальные науки и образование (здесь представлены самые большие суперкомпьютеры в мире и в России), прикладная геология (разработка полезных ископаемых, в основном углеводородов), автоматизация проектирования в производстве (CAE/EDA), прикладные естественные науки (биоинформатика, геномика, протеомика, производство новых лекарств, создание новых методов лечения и т. п.), госнужды (военно-промышленный комплекс, системы статистики, криптография, симуляция боевых действий и т. д.), химия, физика, создание новых материалов, финансовая аналитика, индустрия развлечений.

Алексей Шмелев в своей классификации также использует дифференциацию по размеру систем и их производительности, а также по области применения суперкомпьютеров, однако добавляет к этому еще один сегмент — используемые технологии: архитектура вычислительного кластера, процессорные архитектуры, интерконнект и т. д.

С акцентом на технологии рассматривает структуру рынка и Юрий Дроненко. По его словам, до недавнего времени можно было наблюдать два основных сегмента НРС — кластерные системы, использующие большое число узлов классических для серверного рынка двухпроцессорных х86-систем, объединенных высокоскоростным интерфейсом, и проприетарные, закрытые для массового пользователя вычислители. В настоящий же момент серьезные изменения в общую картину вносят графические процессоры, на базе которых создаются гибридные решения.

Наиболее нетривиальной оказалась сегментация, которую предложил Дмитрий Тяхти. С одной стороны, он тоже делит рынок на промышленную и исследовательскую ниши, где рассматривает соответствующие области применения. Но при этом он описывает два альтернативных способа классификации. Так, по его мнению, с технологической точки зрения суперкомпьютеры можно разделить на стандартные, “почти стандартные” и нестандартные.

Стандартные суперкомпьютеры — те, которые собираются из общедоступных серверов с минимальной модификацией. “Почти стандартные”, хотя и строятся на основе типовой (х86-й) архитектуры, но используют существенно переработанные корпуса, системы охлаждения и электропитания, дополнительные процессоры видеокарт. У нестандартных суперкомпьютеров полностью переработанная платформа — специализированные процессоры, контроллеры шин, межблочные интерфейсы. Чем более производителен суперкомпьютер, тем дальше его архитектура отстоит от стандартной.

Г-н Тяхти также говорит о том, что вычислители можно разделить на энергосберегающие и обычные. Неочевидное, но жесткое требование к системе заключается в том, что физически она должна помещаться в отведенном для нее зале и потреблять разумное количество электроэнергии, что исключает вариант тиражирования шкафов с относительно недорогими x86-серверами, так как в этом случае плотность гигафлопс на квадратный метр намного меньше, чем при использовании нестандартных архитектур.

Основные драйверы роста и расширения рынка HPC

Главными стимулами к развитию HPC большинство опрошенных нами экспертов так или иначе определили новые классы появляющихся задач и новые категории заказчиков, решивших применить в своем деле высокопроизводительные вычисления. Так, технический директор DSCon Константин Баканович указывает на то, что, хотя основными потребителями HPC-технологий по-прежнему остаются клиенты, основной задачей которых являются непосредственные вычисления, все большее количество запросов начинает поступать и от провайдеров облачных услуг, от клиентов, занимающихся обработкой больших массивов данных — из банковского и финансового секторов и т. п. Да и те организации, которые ранее применяли HPC только для вычислений, сегодня задумываются о расширении сферы применения этих технологий.

Приблизительно в этом же ключе рассуждает Сумит Гупта. По его убеждению, продолжающийся рост рынка HPC обусловлен в том числе тем, что сегодня наиболее сложные задачи просто останутся нерешенными без серьезных вычислительных ресурсов. Среди них множество острых и критически важных социальных проблем: лечение рака, прогнозирование природных катаклизмов и т. д. Соответственно общество будет продолжать вкладывать деньги в развитие технологий HPC, поскольку это единственный способ справиться со многими проблемами, угрожающими всему человечеству.

О новых заказчиках и новых классах задач также говорят Алексей Шмелев, Алексей Комков и Дмитрий Тяхти. В понимании последнего, в данном срезе драйверами роста выступают задачи моделирования работы человеческого мозга и точного прогноза погоды. Требуемая для них мощность превосходит сегодняшние ресурсы в 100 тыс. раз, и ее достижение прогнозируется лишь к 2030 г.

Поясняя специфику гонки производительности, г-н Тяхти указывает на тот факт, что в полном соответствии с законом Мура, вычислительная мощность ЭВМ увеличивается вдвое всего лишь за полтора года, а новые задачи в соответствии с рыночными законами конкуренции появляются непрерывно, причем решение одних порождает возникновение следующих. Кроме того, вычислительные мощности становятся все более доступными, что привлекает все большее количество как потребителей, так и поставщиков решений и стимулирует стремительное развитие технологий и конкуренцию между ИТ-компаниями.

О либерализации HPC сказал и Павел Борох, по мнению которого одним из несомненных драйверов рынка выступает доступность HPC-технологий для решений уровня рабочей группы и даже отдела.

Андрей Юдин крайне важным стимулом к росту рынка HPC считает экономический кризис, потому что в его условиях для компаний стала очевидной необходимость сокращения расходов на производство и логистику и уменьшения времени вывода новых продуктов на рынок. Высокопроизводительные вычисления, по мнению г-на Юдина, дают возможность получить результат быстрее и за меньшие деньги, а также снижают риски от внедрения новых решений и технологий.

Еще одной движущей силой развития рынка, с точки зрения г-на Юдина, являются собственно вендоры, благодаря которым улучшаются и создаются новые процессоры, ускорители вычислений, технологии интерконнекта и методы параллельного программирования.

Юрий Дроненко прогнозирует, что драйверами рынка станут наука при поддержке государства, сообщества энтузиастов НРС, а также широко пропагандируемые сегодня облачные вычисления.

В дополнение ко всему вышесказанному Алексей Шмелев также отметил экспоненциально растущий объем информации, доступной для анализа и обработки, — явление, часто называемое потопом данных. При этом важным системным фактором для рынка HPC, по мнению г-на Шмелева, является состояние дел в отрасли исследований и разработок как таковое: если наука интенсивно развивается, то средства вычислений и моделирования всегда будут востребованы.

Особенности ведения бизнеса на рынке HPC-решений

Рассматривая суперкомпьютинг в данном срезе, Дмитрий Тяхти обращает внимание на то, что высокопроизводительные вычисления были и остаются очень затратным способом решения суперзадач, поэтому рынок HPC исключает массовый подход и ограничивает возможность применения типовых схем.

Об этом же сказал Алексей Комков, считающий, что относительно малый объем HPC-рынка вынуждает его игроков находить подчас нестандартные решения, позволяющие развивать бизнес в условиях жесткой конкурентной борьбы. Так, если для победы в многочисленных тендерах на реализацию небольших и даже средних проектов достаточно сделать ценовое предложение, перекрывающее заявки конкурентов, то для получения крупного заказа уже необходимо обладать уникальными технологическими преимуществами и собственными запатентованными разработками, предложить максимально гибкую систему сервисного обслуживания и выполнить ряд других условий. А позволить себе это могут, по мнению г-на Комкова, очень немногие компании, обладающие богатым научным и инженерно-техническим потенциалом, собственной исследовательской базой, позволяющей самостоятельно разрабатывать если не все, то очень многие компоненты вычислительного комплекса, начиная от дизайна печатных плат и заканчивая общесистемным и прикладным ПО.

Необходимость обладания серьезными знаниями современных технологий и практического опыта отметил и Юрий Дроненко. По его наблюдениям, любая ошибка в архитектуре на этапе проектирования системы однозначно сказывается на стоимости итогового решения или на его производительности.

Павел Борох указал на то, что увеличение количества разнородных заказчиков разного уровня ведет к возрастанию важности законченных решений и стандартизованных компонентов в HPC-инфраструктуре. Сегодняшний пользователь HPC-решений не всегда хочет сам писать приложения; часто требуется использование коммерчески доступных версий. Соответственно для игроков на рынке важно выстроить взаимодействие с другими участниками экосистемы, собрать стек стандартизованных компонентов для построения решения — от аппаратной платформы, системного и управляющего ПО до параллелизующих компиляторов и готовых прикладных пакетов.

По убеждению Алексея Шмелева, для выживания на рынке HPC и вовсе нужно в каком-то смысле решить парадоксальную задачу. С одной стороны, этот рынок очень инновационен и требователен к новизне решений. Заказчику недостаточно просто уметь решить поставленную задачу, а нужно решить ее лучше (гораздо лучше), чем это можно было сделать с помощью суперкомпьютера или кластера предыдущего поколения. Именно поэтому на рынке HPC всегда требуются самые высокопроизводительные модели процессоров и самые высокоскоростные сети для обмена данными с наименьшими задержками, наилучшей пропускной способностью и т. д.

С другой стороны, рынок HPC весьма склонен к сохранению традиций и всегда требуется уважать тот задел, который был накоплен на предыдущих этапах развития. Если клиентские приложения для расчетов, которые используются по 10—20 лет, не будут работать на новом суперкомпьютере (или станут работать недостаточно быстро), решение вряд ли найдет своего заказчика.

Еще одна важная особенность ведения бизнеса на рынке НРС, по мнению г-на Шмелева, заключается в необходимости постоянно инвестировать в создание инновационных решений. Покупатели машин борются за лидерство в научном мире и за технологическое превосходство в промышленности, которое им дает использование самых мощных вычислительных систем. И поэтому требования к новым суперкомпьютерам со стороны заказчиков постоянно растут, создавая новые вызовы для их производителей.

Основные технические и иные проблемы в сфере HPC

Судя по комментариям опрошенных нами экспертов, одной из главных проблем суперкомпьютинга на данный момент является вопрос энергоэффективности систем, на что обращают внимание Андрей Юдин, Алексей Комков, Алексей Шмелев, Дмитрий Тяхти и Сумит Гупта. По словам последнего, производительность суперкомпьютеров сегодня принципиально ограничена количеством потребляемой электроэнергии и фактически мы достигли того рубежа, когда энергопотребление стало ключевым фактором, определяющим дальнейшее развитие отрасли.

Алексей Шмелев указал на то, что современные суперкомпьютеры и ЦОДы потребляют десятки и сотни киловатт электроэнергии, а самые крупные — уже десятки мегаватт. В результате большая часть заказчиков не только испытывает проблемы с выделением соответствующих лимитов у энергосбытовых компаний, но и обеспокоена ростом стоимости эксплуатации систем. Пытаясь спрогнозировать развитие данной ситуации, Алексей Комков выражает уверенность, что в будущем возможность эксплуатации в регионах нашей страны наиболее мощных вычислителей будет практически полностью определяться наличием энергосетей необходимой мощности.

Говоря о других проблемах HPC, г-н Комков отметил недостаток квалифицированных разработчиков и сложность создания массивно-параллельных программных решений.

На необходимость максимального упрощения программирования вычислительных систем для более широкого внедрения суперкомпьютерных технологий указал и Сумит Гупта. А Павел Борох основную проблему видит в присущей рынку разнородности платформ, в том числе внутри одного решения.

Юрию Дроненко “узким местом” HPC представляется тот факт, что расходы на интерконнект и инженерные системы суперкомпьютеров равны или даже превосходят затраты на собственно вычислительную часть комплексов. При этом он также отметил, что весьма интересную и одновременно непростую задачу приходится решать при проектировании и создании СХД множественного параллельного доступа.

В то же время в данном ракурсе Константин Баканович не склонен как-то выделять рынок HPC, считая, что ему свойственны все те же технические проблемы, что и ИТ-рынку в целом. По его мнению, это и слабая информированность клиентов о существующих и доступных технологиях, и недостаточное количество предложений по построению законченных комплексных решений (предлагаются, как правило, отдельные технологии), и конечно, недостаток финансирования.

Андрей Юдин и Дмитрий Тяхти крайне важной технической проблемой считают дефицит инженерной инфраструктуры. Речь идет как о недостатке помещений для размещения оборудования, так и о необходимости создания эффективных систем охлаждения.

При этом г-н Тяхти также отметил, что с ростом системы растут и расходы вычислительной мощности на управление машиной и подзадачами, на распределение их между узлами, синхронизацию состояния и копирование данных между ними. К этой же проблеме он относит пределы возможностей в ядре ОС и программные решения в этом ядре, которые создают “узкие места” в случае значительного расширения вычислителя. По убеждению г-на Тяхти, рост подобных расходов есть всегда, но вопрос заключается в скорости этого роста и в том, какая часть мощности вычислительной системы на все это расходуется.

Алексей Шмелев также указал на то, что к традиционным проблемам в области HPC следует отнести вопросы масштабируемости: как сделать так, чтобы при построении системы в два раза больше исходной, она бы производила вычисления хотя бы в полтора раза быстрее. И на каждом новом витке развития в HPC эти проблемы приходится решать заново. Сейчас доминирующей на рынке является кластерная архитектура для суперЭВМ, что подразумевает использование высокоскоростных сетей, таких как InfiniBand QDR и 10 Gigabit Ethernet, для объединения узлов кластера в единый вычислительный комплекс. Чем лучше характеристики сети (пропускная способность и задержка, или латентность, при передаче данных между узлами), тем больший круг задач получится эффективно решать на суперкомпьютере.

Как заявил г-н Шмелев, в современных кластерах быстро растет число вычислительных ядер — в среднем на 38% в год. Соответственно для управления комплексом, состоящим из 100—1000 узлов, обычные средства администрирования уже не годятся, приходится реализовывать и все время совершенствовать специализированные средства управления.

HPC в России: состояние, перспективы

По глубокому убеждению Андрея Юдина, фундаментальной особенностью российского рынка можно назвать острый недостаток специалистов по высокопроизводительным вычислениям: сисадминов, программистов и прикладников, которые могут использовать HPC-системы для выполнения конкретных задач. При этом он считает, что вычислительные комплексы в нашей стране строятся на современном уровне и перспективы развития отрасли также находятся в общемировом ключе — постепенный переход на суперкомпьютеры экзафлопсного уровня (аналитики ожидают появления таких систем к 2019 г.).

Для г-на Юдина очевидно, что без использования HPC ни одна страна не может рассчитывать на поступательное инновационное развитие. Вместе с тем мировой опыт показывает, что в погоне за конкурентоспособностью государства нельзя прибегать к протекционизму. Технологии и опыт глобальных вендоров могут и должны использоваться наравне с предложениями местных производителей.

С тезисом г-на Юдина о кадровом голоде не согласился Алексей Шмелев. В его понимании России досталась от СССР сильная математическая и кибернетическая школа, вписавшая в мировую историю такие легендарные вычислительные машины, как М-1—М-10, БЭСМ, “Стрела” и “Эльбрус”. Подготовленные этой школой специалисты, способные решать самые сложные и весьма актуальные задачи с использованием вычислительных методов, сохранились и работают в стенах ведущих академических учреждений страны, например в МСЦ РАН.

Алексей Комков тоже считает, что Россия обладает необходимым потенциалом для активного развития суперкомпьютерной отрасти как в части совершенствования аппаратно-программных комплексов, так и опыта их практического применения.

А вот Юрий Дроненко оценивает состояние российского публичного рынка НРС как молодое и развивающееся, но базирующееся исключительно на зарубежных технологиях.

Павел Борох уверен, что на отечественном рынке HPC отражаются мировые тенденции отрасли, правда в средних и малых масштабах. По его мнению, это либерализует рынок HPC в том смысле, что покупателями могут быть не только заказчики с бюджетом из государственных источников. К тому же масштабы решений также становятся более разнообразными и более широкий круг поставщиков может заниматься их продвижением. Ну и в качестве своеобразного прогноза г-н Борох высказал мысль о больших перспективах развития в России предоставления HPC в виде услуги.

Алексей Шмелев также сделал свой прогноз, предположив, что российское сообщество НРС и как следствие рынок будут активно развиваться, если государственные средства на НРС-проекты и технологии станут инвестироваться в стратегически значимые направления, а не будут, как это зачастую бывало раньше, выделяться только узкому кругу избранных под очень громкие, но весьма сомнительные с практической точки зрения проекты с непрозрачными результатами.

О необходимости господдержки разработок отечественных НРС-технологий, систем хранения, интерконнекта и пр. сказал и Юрий Дроненко, который также выразил надежду на то, что идеи НСТП смогут воплотиться в жизнь.

В каком-то смысле с ними согласен директор по развитию корпоративных проектов корпорации "Intel в России и СНГ" Николай Местер. По его словам, объемы рынка и динамика спроса в нашей стране, как и в любом другом государстве, определяются потребностями экономики и в первую очередь конкуренцией на рынке высокотехнологичных товаров и услуг. (В области промышленности речь идет об авиации, двигателестроении, судостроении, автомобилестроении, создании цифрового контента и т. д.)

На текущий момент Россия, напоминает г-н Местер, определила модернизацию экономики и развитие наукоемких и высокотехнологичных направлений как одно из ключевых направлений. И есть серьезные основания полагать, что рынок суперкомпьютерных систем, проектов и услуг будет существенно (в разы) расти в ближайшие 3—5 лет при сохранении такого курса.