Эксперты признают, что традиционное, сформировавшееся за 80—90-е годы прошлого века, тестирование эффективности антивирусных программ в настоящее время стало неприемлемым. Как утверждает Сергей Ильин, управляющий партнер аналитического центра Anti-Malware.ru, настала пора, когда антивирусному рынку требуются комплексные тесты, соответствующие реальным алгоритмам работы пользователей и полностью проверяющие функционал защиты — проверку по шаблонам, эвристику, межсетевое экранирование, IDS, HIPS и т. д.

Разработанные организацией Virus Bulletin (VB) в 90-х гг. критерии тестирования антивирусов и созданная на их основе коллекция вирусных сигнатур The WildList хотя и признаются антивирусной индустрией по сей день, однако уже не учитывают радикального изменения ландшафта угроз. Например, они исследуют вирусы только под платформу Windows и только самораспространяющиеся разновидности вирусов, а под последний критерий не подпадают широкие классы зловредов, такие как спам-боты, программы-шпионы. Количество стабильно активных отправителей, пополняющих The WildList, как констатировал на конференции Virus Bulletin в 2007 г. руководитель тестовой лаборатории AV Test Андреас Маркс, не превышает двадцати, а число ежемесячных обновлений — полутора десятков. Система приема и обработки обновлений обременительна как для отправителей, так и для составителей The WildList, в следствие чего с момента обновления до момента опубликования обновленного списка проходит около сорока дней.

Тесты нового поколения VB проводятся в течение четырех недель. Антивирусы тестируются каждую неделю с включенной функцией обновления и еще одну неделю — без возможности обновлений. Как сообщают эксперты, тестирование проводится на отключенных от Интернета компьютерах по ограниченной (по тому или иному критерию) сигнатурной вирусной базе. Это хорошо согласуется с принципами воспроизводимости теста, однако никак не соответствует реальным условиям эксплуатации антивирусов.

Ретроспективные тесты, проводимые Андреасом Клементи из антивирусной лаборатории AV Comparatives, по мнению специалистов, лучше, чем тесты VB, уже потому, что в них используются не десятки, а сотни тысяч самых разнообразных вирусных сигнатур. Однако сигнатурная база данных AV Comparatives не публична, на что обращает наше внимание эксперт по продуктам и сервисам компании Trend Micro Михаил Кондрашин. Вследствие этого ее не в состоянии оценить широкий круг специалистов, например, на наличие ложных сигнатур. Важно также, что при проведении своих тестов эта лаборатория отключает задействованные в антивирусных продуктах набирающие популярность и радикально влияющие на эффективность работы антивирусов облачные технологии.

В начале 2008 г. была создана Anti-Malware Testing Standards Organization (amtso), объединившая 40 антивирусных компаний в ассоциацию для выработки единых критериев тестирования антивирусов. В этом году amtso опубликовала ряд разработанных ею рекомендательных документов, а в конце лета тестовая лаборатория NSS Labs завершила первый тест, выполненный в соответствии с этими рекомендациями.

В ходе проведения теста NSS Labs собрала данные о потенциально опасных сайтах, выделила из них реально опасные, получив в результате 3243 адреса. В течение примерно трех недель по этим адресам последовательно проверяли работу антивирусов. Тест позволил проверить, как во времени изменяется способность блокировать проверяемыми антивирусами заражения с каждого из отобранных инфицированных веб-адресов. На рис.1 показана динамика изменения (улучшения) блокировки зараженных сайтов — этот показатель важен для антивирусов, использующих онлайновые (в том числе облачные) технологии. Итоговый результат теста представлен в таблице.

Следует отметить, что в данном тесте проверялось противодействие антивирусов не активным заражениям, самостоятельно проникающим на пользовательские компьютеры, а заражениям, произошедшим по инициативе самого пользователя, спровоцированного к приводящим к заражениям действиям приемами социальной инженерии. Известно, что NSS Labs готовит тесты на другие виды заражений.

Схожие по принципиальным подходам с тестами NSS Labs проверки антивирусных программ проводит тестовая лаборатория аналитического центра Anti-Malware.ru. “Мы не входим в ассоциацию amtso, поскольку нас устраивает более независимое положение: участие в amtso, к примеру, не позволило бы нам (согласно существующей между членами ассоциации договоренности) проводить тесты на лечение активных заражений, которые мы считаем важными. Тем не менее мы активно общаемся с членами ассоциации вне ее рамок и проводим свои тесты в соответствии с методологиями amtso”, — сообщил Сергей Ильин.

За четыре года лаборатория Anti-Malware.ru выполнила и опубликовала результаты 13 тестов. Среди них тесты проактивной защиты и на лечение активного заражения. Самый “свежий” — динамический тест на обнаружение новейших вредоносных программ, распространяемых через Интернет (откуда, по оценкам специалистов Anti-Malware.ru, исходит до 90% угроз). В июле — октябре 2009 г. лаборатория проверяла способность наиболее распространенных антивирусов защищать от угроз Zero-day для Microsoft Windows XP Pro SP3 (без более поздних обновлений платформы, которые намеренно не устанавливались).

Длительность проверки, как пояснил Сергей Ильин, была обусловлена тем, что найти вредоносный код “нулевого дня” для платформы Windows XP Pro SP3, не детектируемый тем или иным антивирусом, оказалось сложно — за указанное время было выявлено 36 актуальных ссылок на соответствующие вредоносные коды. Тестированию подверглись 19 продуктов с настройками по умолчанию.

Моделировалась ситуация, при которой пользователь с установленной у него одной из тестируемых программ защиты обращался к зараженным ссылкам. Сильный разброс в результатах (см. рис. 2) Сергей Ильин объясняет большим технологическим расслоением в антивирусной индустрии, корни которого в том, что разработчики антивирусного ПО идут сегодня разными путями: одни создают и внедряют новые технологии — облачные, HIPS и т. п. (они оказались в числе лидеров), другие (замыкающие список) продолжают совершенствовать прежние технологии. Он отдельно прокомментировал результаты теста продукта компании McAfee, сообщив, что разработчик не успел ко времени проведения теста реализовать в доступной на то время коммерческой корпоративной версии антивируса свой самый современный движок и новую функциональную начинку.

Как считают эксперты, обобщенные результаты комплексов тестов антивирусов (подобных тем, что проводят NSS Labs и Anti-Malware.ru, — на лечение активного заражения, на проактивную защиту, быстродействие и ресурсоемкость и т. д.), проводимых на регулярной основе с применением описанных выше подходов, позволят оценивать эффективность антивирусов и более объективно подходить к их выбору при покупке.