Фил Пейн, менеджер по тестированию из гигантской печатной компании Weyerhauser (Такома, шт. Вашингтон), не тоскует по тем временам, когда не было автоматической трассировки ошибок. Скорее, наоборот: выискивать ошибки на затрепанных листах, а потом тащиться с ними через три лестничных пролета вверх, чтобы показать разработчику, - от этого воспоминания Пейн хотел бы избавиться.
Такие визиты без предварительной договоренности отнимали свою толику от производительности разработчиков. И притом нелегко было следить за пухнущей папкой с дефектными ведомостями, кочующими от одного стола к другому. Нужен был какой-то способ получше.
И вот именно тогда группа Пейна начала использовать TeamTest - средство фирмы SQA для автоматического тестирования приложений по работе с заказами на приобретение и с кредиторами по расчетам. Поскольку автоматизированные средства тестируют куда больший объем кода, чем это возможно при ручном тестировании, автоматическая система отслеживания дефектов в TeamTest была для группы Пейна просто Божьим даром.
Когда программа находила “инциденты” или потенциальные ошибки, информация запоминалась в интегрированной базе данных информации о дефектах, к которой имели доступ все разработчики и тестеры. “Это сэкономило нам уйму времени, которое мы тратили на копирование и обновление папки с информацией о дефектах”, - сообщил Пейн.
Корпорация Microsoft (Редмонд, шт. Вашингтон) для работы по тестированию Windows 95 выбрала другой подход. Из-за большой широты проекта команда тестеров работала с полудюжиной средств тестирования, исключив возможность использования интегрированных средств.
Рик Уэдделл, менеджер по тестированию сетевых возможностей Windows 95 в корпорации Microsoft, возглавил группу, тестирующую возможности сетевых связей новой операционной системы. При отслеживании дефектов его группа использовала для хранения сообщений об ошибках SQL-базу данных, не связанную напрямую со средствами тестирования.
Это означало, что информацию об аномалиях программы приходилось вводить в базу данных вручную. При том, что информация о дефектах поступала от примерно 125 тестеров в самой фирме, от групп, занимающихся локализацией Windows 95 для других языков, и от 450000 бета-тестеров по сети CompuServe, все эти люди должны были постоянно прилагать буквально геркулесовы усилия.
Информация о дефектах, приходящая на CompuServe, автоматически разбиралась и сохранялась в базе данных, где команда сортировщиков пыталась воспроизвести ошибки. Если ошибка и в самом деле обнаруживалась, информация помещалась в базу данных о дефектах.
И хотя Windows 95 уже поставляется, работа группы Уэдделла по тестированию не закончена и закончится не скоро.
“Это дело (отслеживание потенциальных дефектов) очень трудоемко. Но моя работа состоит в том, чтобы не успокаиваться и не считать, что мы нашли уже все дефекты”, - сказал Уэдделл.
Лорен Гиббонс Пол
