ОБЗОРЫ
Новая технология станет ключевым элементом серверной архитектуры следующего поколения
Практически все ведущие компьютерные корпорации, например IBM, Compaq, Hewlett-Packard, активно ищут способы упаковки большого числа серверов на как можно меньшем объеме. При современной конструкции серверов в шестифутовую (183 см) стойку можно установить 42 компьютера с 82 процессорами. По словам генерального менеджера Compaq Мэри Мак-Дауэлл (Mary McDowell), это число несложно увеличить до 200 и даже 300 процессоров. Новая технология интерфейса InfniBand позволит продвинуть разработку сверхплотных серверов еще дальше. Используя ее, можно соединять несколько компьютерных узлов между собой, размещая средства связи с системами хранения данных и сетевыми ресурсами в разных местах. В частности, конструкция серверов Compaq QuickBlade (“Быстрый клинок”) будет отличаться от других продуктов еще и тем, что в комплект их поставки войдут мощные системы хранения данных.
Архитектура InfiniBand
Обращаясь к проблеме ввода-вывода информации, отметим, что в отличие от микропроцессоров, производительность которых растет невиданными темпами, шины ввода-вывода эволюционируют достаточно медленно. Современная подсистема ввода-вывода базируется на распределенной модели памяти с топологией “общая шина”, которая давно не отвечает многим требованиям, предъявляемым при создании высокопроизводительных серверов. Если говорить о производительности, то при данной архитектуре шина не может поддержать скорость ввода-вывода информации, обеспечиваемую микропроцессором. Поэтому он вынужден сдерживать собственное быстродействие при общении с любым периферийным контроллером.
Кроме того, не секрет, что сервер обычно приобретают в расчете на дальнейшее расширение его возможностей - масштабирование. Однако при использовании нынешней архитектуры количество подключаемых периферийных устройств ограничено небольшим числом разъемов шины. При распределенной архитектуре памяти ошибка, связанная с контроллером или драйвером устройства, может привести к изменению содержимого другой области памяти, что обычно ведет к краху всей системы. Причем локализовать место возникновения подобной ошибки достаточно сложно. Напомним, что топология “общая шина” подразумевает, что ее параллельные линии совместно используются всеми устройствами для передачи управляющих сигналов и данных. Хотя этот подход хорошо изучен и неплохо себя зарекомендовал, он имеет ряд ограничений и недостатков.
Рождение
Учитывая дальнейший рост производительности микропроцессоров, сдерживаемый недостатками и ограничениями “общей шины”, осенью 1998 г. корпорация Intel (www.intel.com) обнародовала принципиально иную архитектуру, предназначенную для следующего поколения подсистем ввода-вывода - Next Generation I/O (NGI/O). Примерно в то же время по инициативе корпорации IBM был создан альянс компаний для разработки открытого стандарта на архитектуру под названием Future I/O. В отличие от NGI/O в спецификации Future I/O допускалось использование PCI-адаптеров. Но вскоре компромисс между этими группами компаний был все-таки найден. Слияние двух технологий стало результатом коллективных усилий семи ведущих компаний отрасли: Compaq, Dell, Hewlett-Packard, IBM, Intel, Microsoft и Sun Microsystems. Единая архитектура ввода-вывода, построенная на открытых стандартах, несет с собой неоспоримые преимущества как производителям, так и потребителям.
Осенью прошлого года организация InfiniBand Trade Association (www.infinibandta.org), объединяющая свыше 220 компаний, объявила о выпуске InfiniBand Version 1.0 - первой версии нового интерфейса. Стандарт описывает новую архитектуру и спецификации на передачу данных между процессорами и интеллектуальными устройствами ввода-вывода. По сути InfiniBand заменяет в серверах шину PCI, обещая более распределенную структуру и большие пропускную способность и гибкость. Главными особенностями данной архитектуры можно назвать последовательный обмен данными, канальную технологию ввода-вывода и матричную топологию. Архитектура InfiniBand призвана обеспечить два важнейших условия конкурентоспособности в современной Интернет-среде: возможность расширения мощности серверов и сокращение времени отклика на обращения. Например, с появлением систем InfiniBand проектировщики и ИТ-менеджеры уже могут не рассматривать ввод-вывод как неотъемлемый компонент сервера, т. е. всегда размещаемый только внутри корпуса.
Соединитель для интерфейса InfiniBand
InfiniBand обеспечивает рост пропускной способности в диапазоне от 500 Мб/с до 6 Гб/с. Точнее, один канал InfiniBand передает данные из точки в точку в одном направлении со скоростью 250 Мб/с, но поскольку каждый канал состоит из пары так называемых “нитей”, действующих в разных направлениях, то общая производительность изменяется ступенями по 500 Мб/с. InfiniBand предусматривает наличие в канальных адаптерах одного, четырех или 12 каналов, в зависимости от требуемого уровня производительности. Можно добавлять новые каналы, наращивая полосу пропускания. Четырехканальный InfiniBand обеспечит пропускную способность 2 Гб/с, 12-канальный - 6 Гб/с.
Важнейшие компоненты технологии InfiniBand - адаптер каналов подключения головной машины (Host Channel Adapter, HCA), коммутатор и адаптер каналов подключения целевой машины (Target Channel Adapter, TCA). HCA обеспечивает подключение серверов к широкой сетевой инфраструктуре, построенной на основе технологии InfiniBand, Интернета и центров обработки данных в интересах Интернет-бизнеса. Канальные адаптеры - это интеллектуальные устройства, которые поддерживают все функции ввода-вывода без загрузки серверного процессора. Так, во время инициализации структура InfiniBand обнаруживает все HCA и TCA в структуре и присваивает им логические адреса. Она отслеживает наличие устройств с помощью алгоритма опроса и обнаруживает новые канальные адаптеры по мере их добавления к коммутируемой структуре. При использовании продуктов, совместимых с данной технологией, количество адресуемых сетевых устройств теоретически может достигать 64 тыс.
Ядром сетевой структуры на основе технологии InfiniBand служит коммутатор, обеспечивающий подключение серверов к удаленным устройствам хранения данных и компонентам сетевой инфраструктуры. Топология матричной коммутации позволяет взаимодействовать всем устройствам, входящим в матрицу, по принципу “каждый с каждым”. Ее задачей является распределение данных по каналам. Ключи матрицы временно образуют коммуникационный канал между компьютером и периферийным устройством, организуя обмен “точка - точка”. Подобная технология находит применение, в частности, в сетевых коммутаторах и маршрутизаторах. Для обеспечения устойчивости к сбоям коммутаторы InfiniBand можно каскадировать.
TCA обеспечивает подключение к устройствам хранения данных и/или компонентам сетевой инфраструктуры внутри объединенной сети, построенной на основе технологии InfiniBand. Адаптер канала действует по так называемой схеме передачи сообщений: базовый микропроцессор теперь не будет заниматься рутинной работой по обмену данными с периферийным устройством, он сможет инициировать прием или передачу, давая соответствующие указания контроллеру канала. Немаловажно и то, что доступ периферийных устройств к основной памяти происходит исключительно через адаптер.
Эта топология исключает проблему арбитража и конфликтов, “горячая” замена устройств становится действительно автоматической. Кроме того, существенно облегчается конфигурирование контроллеров (причем общая производительность не может быть ухудшена неправильным конфигурированием одного из них) и допускается увеличение расстояния между периферийным контроллером и контроллером памяти.
С помощью InfiniBand связь с удаленными модулями хранения, сетевые функции и соединения между серверами будут осуществляться за счет подключения всех устройств через центральную, унифицированную структуру коммутаторов и каналов. Архитектура InfiniBand позволяет размещать устройства ввода-вывода на расстоянии до 17 м от сервера с помощью медного провода, а также до 300 м в случае многомодового волоконно-оптического кабеля и до 10 км - при одномодовом волокне.
Первые опыты
На осеннем Форуме для разработчиков в 2000 г. корпорация Intel объявила о трех новых программах, нацеленных на развитие InfiniBand. В частности, они предусматривали поставки наборов для создания продукции на основе архитектуры InfiniBand, включающих базовый адаптер канала, коммутатор и соответствующее ПО. Кроме того, лицензирование логических схем портов Intel позволяет производителям микросхем лицензировать интерфейсную логику, применяемую в продукции Intel. Для поддержки целевых каналов InfiniBand запланирован выпуск таких программных компонентов, как образцы разработанного корпорацией Intel кода, это даст возможность производителям канальных адаптеров использовать программные интерфейсы, аналогичные применяемым корпорацией.
Чтобы ускорить появление промышленных образцов оборудования, Intel собирается открыть в середине года специальную лабораторию проверки совместимости с InfiniBand, что облегчит другим разработчикам проверку взаимодействия своих продуктов с компонентами для InfiniBand.
На весеннем Форуме Intel совместно с семью другими компаниями - Adaptec, Agilent Technologies, Compaq Computer, Computer Associates, Crossroads, LSI Logic и Q-Logic - впервые продемонстрировала работающую сеть Infiniband в законченном виде. В новой версии реализованы многие полезные функции, такие, как кластеризация серверов и поддержка разнородного оборудования в одной среде. Демонстрационная сеть InfiniВand включала несколько объединенных в кластер серверов Compaq; по ней передавался трафик компьютерной сети и трафик среды хранения, а также выполнялось приложение электронной коммерции с интенсивной обработкой данных. Использовались две операционные системы - Windows 2000 и Linux. Кроме того, сеть Infiniband была подключена к адаптерам SCSI и Fibre Channel.
Banderacom, Lane15 Software и WindRiver Systems представили на Форуме первый Ethernet TCA-адаптер, к которому было подключено несколько клиентов, одновременно запускавших процессы, требующие высокой пропускной способности, например архивирование данных, просмотр MPEG-2 видео и т. п. InfiniBand Ethernet TCA-адаптер построен на наборе микросхем IBandit компании Banderacom, а ПО разработали фирмы WindRiver Systems и Lane15 Software. Остальное оборудование было предоставлено корпорацией 3Com. InfiniBand в действии продемонстрировала на Форуме и корпорация Adaptec. Внешний RAID-контроллер подключался через эту шину к прототипам серверов и коммутаторам с этим интерфейсом.
Недалекое будущее
По прогнозам IDC, рынок устройств, совместимых с технологией InfiniBand, к 2004 г. достигнет 2 млрд. долл. Перед производителями серверов, коммутаторов и других устройств архитектура InfiniBand открывает новые возможности, увеличивая число потенциальных клиентов. Так, если в 2002 г. только 16% серверов смогут поддерживать InfiniBand, то к 2004 г. из 6 млн. планируемых к производству серверов 4 млн. будут основаны на новой технологии.
Внедрение архитектуры InfiniBand позволит повысить устойчивость системы. Если при сбое шины PCI-сервер, как правило, перестает работать, то в случае с InfiniBand все будет не так. Благодаря своим конструктивным особенностям эта архитектура обеспечивает множество маршрутов соединения. При потере одного потока или нарушении одного соединения доступ ко всем остальным сохраняется. Точно так же и мэйнфреймы поддерживают доступ сразу к нескольким системным разделам. С точки зрения пользователей, технологию InfiniBand, подобно единой энергетической системе, снабжающей электричеством всю страну, можно отнести к устойчивому классу соединений. Если один из источников оказывается недоступным, его место тут же занимают другие.
Вместо серверов с определенным количеством слотов PCI большинство систем будет поставляться с одним адаптером HCA, который соединит компьютер с канальным коммутатором InfiniBand, подключаемым к системам массовой памяти, маршрутизаторам и другой периферии, оснащенной TCA. Поскольку InfiniBand поддерживает более распределенную конструкцию и канальную архитектуру, можно организовать автоматическое резервное копирование и восстановление после сбоя, чего нельзя было сделать в системах с шинами. Однако технология InfiniBand предназначена не только для серверов. Центральный коммутатор ввода-вывода InfiniBand, интегрируемый в сеть для организации связи между различными устройствами, может использоваться и для построения кластера с высокоскоростными соединениями.
Многие крупнейшие фирмы отрасли поддерживают InfiniBand и являются активными участниками ассоциации InfiniBand Trade Association, однако первыми представили на рынок свою продукцию небольшие компании. Так, Mellanox Technologies анонсировала семейство InfiniBridge, в которое входят коммутаторы и адаптеры категории InfiniBand. Как уже отмечалось, фирма Banderacom выпустила набор микросхем IBandit и комплект средств разработчика. IBandit реализует архитектуру InfiniBand с пропускной способностью порядка 10 Гб/с; этот продукт, по словам официальных представителей компании, принесет неоценимую пользу разработчикам оборудования, занимающимся конструированием собственных систем на базе InfiniBand. Что же касается грандов компьютерной индустрии, то, например, IBM уже сообщила о первом поколении продуктов InfiniBand, состоящем из адаптеров HCA и TCA (оба с интерфейсом InfiniBand-to-PCI-X) и восьмипортового 4Х-коммутатора.
Основные поставки продукции InfiniBand начнутся в конце года.
