Статья только в электронной версии журнала
Тимоти Дик (для PC Week Labs)
Известная мудрость, что один рисунок стоит тысячи слов, очевидно, не распространяется на диаграммы результатов тестирования. В этом случае потребуется тысяча слов, чтобы объяснить нарисованное.
Начать с того, что ПО корпорации Microsoft и компьютеры корпорации Compaq Computer, на которых оно исполнялось, справлялись с подготовленными специалистами Doculabs тестовыми задачами молниеносно - все остальные продукты им просто в подметки не годились. В сущности, написанное на Си++ ПО книжного магазина работало так быстро, что узким местом оказалась наша тестовая сеть, построенная на 100 Мбит/с технологии.
Из этого совершенно очевидно, что Web-сервер IIS (Internet Information Server) и монитор обработки транзакций MTS (Microsoft Transaction Server) - то и другое входит в комплект поставки ОС Windows NT 4.0 - достаточно быстры для любой компании в мире. В то же время полученные результаты ничего не говорят о том, насколько производителен продукт Microsoft в сравнении с серверами приложений других разработчиков, прошедшими тестирование на совершенно иной платформе. Поскольку ПО Microsoft не работает на компьютерах, которые выпускает фирма Sun Microsystems (по 430 тыс. долл.), его пришлось испытывать на серверах производства Compaq (по 177 тыс. долл.). Кроме того, оно тестировалось с другой СУБД - Microsoft SQL Server 7.0 вместо Oracle8.
Хотя сервер приложений производства Microsoft и отличается чрезвычайно высокой скоростью работы, сотрудники Тестового центра PC Week Labs находят, что он уступает остальным продуктам, прошедшим тестирование Doculabs, в управляемости, устойчивости к сбоям и эффективности выравнивания нагрузки.
В частности, весь код управления текущим состоянием написан разработчиками Microsoft вручную - с целью обеспечить устойчивость к сбоям при максимальной скорости работы. Использовать механизм управления текущим состоянием IIS было нельзя, поскольку он не рассчитан ни на устойчивость к сбоям, ни на кластеризацию.
Кроме того, ПО MTS лишено функций выравнивания нагрузки или восстановления после сбоев.
Каждый из Web-серверов Microsoft жестко запрограммирован для использования конкретных базовых механизмов MTS - таким образом, в случае каких-либо неполадок с базовым уровнем (при сохранении исправности самого Web-сервера) восстановить работоспособность IIS было бы труднее, чем любого другого тестируемого продукта.
Функцию выравнивания нагрузки разработчики Microsoft отработали пока только на уровне Web-сервера; но уже в составе Windows 2000 она может быть реализована на уровне сервера приложений.
СУБД не дает Netscape Application Server развернуться во всю мощь
У Netscape Application Server, представленного альянсом Sun/Netscape Communications, узким местом оказалась аппаратная часть сервера БД (это был четырехпроцессорный компьютер Sun Ultra Enterprise 3000, оснащенный ПО Oracle8). Продукту Netscape приходилось так долго дожидаться результатов обработки запросов к БД, что он так и не смог показать все, на что способен. По этой причине мы не стали включать его результаты в наши график и диаграмму.
Когда этот продукт был запущен на одной четырехпроцессорной машине Sun Ultra Enterprise 450, вычислительная мощность которой вполовину меньше, чем у основной платформы тестирования, СУБД стала справляться с его обслуживанием, и в этой конфигурации NAS устойчиво выдавал страницы в темпе от 700 до 800 в секунду. Если бы СУБД могла работать быстрее, сервер Netscape показал бы значительно большую производительность.
Еще один момент, который необходимо отметить: в ходе тестирования пришлось дважды вызвать специалистов из корпорации Progress Software и трижды - из Sybase для внесения исправлений в код ПО книжного магазина.
Продукт Sybase прошел испытания несколько раз. Сначала в составе бета-версии Sybase Enterprise Application Server - эти результаты не вошли в отчет. Затем дважды была протестирована “боевая” версия: вначале по наиболее актуальным позициям, затем - по полной программе.
Посещения специалистов Progress и Sybase привели к заметному увеличению показателей продуктов этих компаний. У других производителей такой возможности подправить код своего ПО книжного магазина не оказалось.
Наконец, последнее замечание. ПО книжного магазина фирмы Haht Software не использовало кэширование страниц из-за несогласованности между Haht и Doculabs. Специалисты, проводившие тестирование, считают, что при включенном кэшировании показатели сервера приложений Hahtsite как по скорости, так и по числу одновременно поддерживаемых пользователей могли бы быть примерно на 30% выше. Все остальные производители предварительно убедились в том, что их продукты работают с включенным кэшированием.
Серверы Web-приложений производства Microsoft, Progress, Sybase и Sun/Netscape оказались лидерами в тестах Doculabs
Учитывая это обстоятельство, специалисты PC Week Labs сочли возможным поднять оценку скорости работы и надежности продукта Haht Software с “C” (которую можно видеть в номере от 5 апреля американского издания) до “B”.
