Я больше не пишу обзоров, хотя занимался этим целых 13 лет и за это время тестировал самую разную продукцию. Так что небрежные и не до конца продуманные материалы такого рода царапают мне душу. Именно такое чувство охватило меня при чтении недавней статьи в Consumer Reports, посвященной вопросам компьютерной безопасности и сопровождаемой обзором программных средств защиты вычислительных систем (ее полный текст доступен только подписчикам).

Нехорошо, конечно, набрасываться на обзоры, опубликованные в других источниках, но этот прямо-таки вывел меня из себя. Я познакомился со статьей заранее, но, должен признаться, что к ответу меня подтолкнуло сообщение в блоге Дейвида Коула из Symantec, который раскритиковал этот материал в пух и прах. Честно говоря, мне не раз приходилось отмечать недостатки продукции этой фирмы, и я не хотел бы ее рекламировать, но точку зрения Коула считаю вполне обоснованной.

Рассказать неспециалисту о средствах безопасности намного труднее, чем о любых других технических аспектах. Он скорее всего полностью поверит Consumer Reports из-за давней репутации этого журнала (заслуживает она того или нет). А неверная информация, опубликованная в вызывающем доверие источнике, не только приносит вдвое больший вред, но и затрудняет жизнь каждому из нас. Пострадают и специалисты ИТ, так как их доверчивые сотрудники обязательно станут обсуждать на работе почерпнутые из журнала ложные сведения.

Но вернемся к обзору. Первая нелепица связана с выбором времени для публикации. Статья появилась в сентябрьском номере, который увидел свет в начале августа, так что тестирование, очевидно, было завершено не позднее первых чисел июля, а то и раньше. В результате в обзор попали средства безопасности 2008 г., тогда как примерно в сентябре должны появиться их новые версии (у меня, например, на эту неделю запланированы беседы с двумя производителями об их предложениях уже на следующий год). А если еще учесть, что вся отрасль сейчас переходит на модель подписки, то тестирование устаревающих версий вообще теряет всякий смысл. Последнюю каплю добавляет страница обзора, где приводится оценка протестированных средств. Здесь они сравниваются с неким “бесплатным комплектом”, куда Consumer Reports включил среди прочих антивирус Avira Personal Edition Classic 7, тут же добавив в примечании, что он снят с производства, а вместо него выпускается улучшенная восьмая версия. Одно только это лишает обзор всякого смысла.

Первые страницы статьи посвящены не сравнению инструментария, а описанию онлайновых угроз и методов борьбы с ними. Этот раздел под названием “Защити себя. Самые серьезные угрозы и наилучшие средства противодействия” полон ссылками на информацию фирмы eMarketer, занимающейся исследованиями рынка. Приводимые же в статье данные, в том числе и по распространенности угроз, взяты из результатов собственного опроса населения.

Специалист ИТ — а таковыми, думаю, себя считает большинство читателей eWeek, — поневоле должен задаться вопросом: может ли рядовой пользователь компьютера точно определить, какие функции программных средств защиты у него запущены и от каких угроз он страдает. Я бы таким оценкам не поверил, а вот Consumer Reports почему-то им доверяет. И мы узнаём, что “за несколько лет нашего наблюдения количество серьезных проблем со шпионскими программами сократилось на 54%, а с вирусами — на 32%”. Поскольку из вредоносного ПО здесь упоминаются лишь шпионские программы и вирусы, то возникает подозрение, что под термином “вирус” здесь подразумеваются и трояны. Ничего не скажешь: приятно, когда их количество снижается, а заодно и спама становится меньше... хотя бы на бумаге.

С другой стороны, авторы обзора признают, что за последние два года финансовые убытки из-за фишинга понесла каждая 94-я семья. По-моему, многовато. Тем более, в докладе той же самой eMarketer от 6 августа черным по белому написано, что угроза онлайновой кражи преувеличена. “В действительности опасность лишиться онлайновых идентификационных данных далеко не так высока, как многие полагают, — считает, например, старший аналитик фирмы Mintel Сьюзен Менке. — Финансовые компании стараются уверить в этом своих клиентов, но их маркетинговые усилия пропадают втуне. Так что нужно находить совершенно новые способы убедить американцев, что их идентификационные данные находятся в безопасности, а сами они могут смело пользоваться электронной почтой”. Так все-таки: такая угроза велика или мала?

Попытка оценивать безопасность на основе данных, которые предоставили конечные пользователи, вносит в статью полную неразбериху. Когда опрос показывает, что “36% респондентов не пользуются средствами борьбы со шпионскими программами, а у 75% не установлена инструментальная панель противодействия фишингу”, его результаты выглядят крайне подозрительными. Видимо, многие из тех, у кого на компьютерах активно работают антивирусные средства, полагают, будто их ничто не защищает от шпионских программ. Вовсе нет! Ведь разницы между антишпионским и антивирусным ПО практически нет. А браузеры IE7 и Firefox 3 хотя и не оснащены инструментальной антифишинговой панелью, тем не менее защиту от фишинга обеспечивают. Значит, судя по статье в Consumer Reports, 75% пользователей работают с другими браузерами? Подозреваю, что нет. А может, респонденты просто считают, что с такой инструментальной панелью было бы лучше? Абсолютно верно. Так что вывод из всего вышесказанного можно сделать только один: авторы и редакторы Consumer Reports просто не понимают, как работают современные программные средства защиты компьютеров и браузеры.

В статье приводится множество советов пользователям на тему о том, как избегать проблем с безопасностью, а также перечислены семь типичных ошибок пользователей. Многое здесь совершенно справедливо, но кое-что явно преувеличено или просто сбивает с толку. Взять хотя бы такую рекомендацию: “Заведите отдельную кредитную карточку для покупок через Интернет, как это уже сделало 7% опрошенных в ходе исследования”. Зачем? Что это даст? Если кто-то понимает, расскажите мне, пожалуйста.

На последних четырех страницах десятистраничной статьи из Consumer Reports помещен обзор программных пакетов защиты компьютеров. В основном платных, но есть и один “бесплатный”, которого, как я уже упоминал, больше не существует. В любом солидном исследовании, особенно если в нем приводятся количественные данные, обязательно описывается методика тестирования. Обзор же Consumer Reports об этом скромно умалчивает. Один из производителей, правда, сказал мне, что получил такое описание, но на условиях неразглашения его содержания. Остальным же из нас приходится довольствоваться кратким “Руководством по оценке”, которое опубликовано под графиком.

Первое место в рейтинге программных пакетов безопасности занял BitDefender, что, в общем-то, вполне правдоподобно. Однако он единственный получил отличную оценку по антивирусной эффективности (всего таких отметок пять: отлично, очень хорошо, хорошо, удовлетворительно и плохо), что лично мне кажется неверным. Большинство других средств от именитых производителей получили не более “очень хорошо”. И возникает вопрос: а что такое антивирусная эффективность? Казалось бы, под этим термином нужно понимать уровень защиты компьютера от вирусов и, может быть, в какой-то мере производительность компьютера с запущенной антивирусной системой. Но у Consumer Reports на это свой взгляд: “Антивирусная эффективность характеризует, главным образом, способность обнаруживать известные и новые вирусы, а также учитывает функциональность, удобство в работе и скорость сканирования”. Такое определение мешает в общую кучу сразу несколько важных факторов, хотя любой, кто не обратит внимания на “Руководство по оценке”, будет уверен, что оценивалась именно способность обнаруживать опасное ПО. Сам же обзор содержит лишь скудные упоминания о тестах на противодействие современным вредоносным программам. Разве что в одном месте описано, как был взят старый код такого рода, в него были внесены небольшие изменения и экспериментаторы проверили, смогут ли средства защиты обнаружить их. Если это и может вызвать какой-то интерес, то лишь сугубо академический. В практических же тестах нужно проверять реальные угрозы сегодняшнего дня. Такие тесты, по словам авторов обзора проводились тоже, но в каких объемах и какая доля вредных программ была обнаружена каждым из тестируемых пакетов? Об этом ничего не говорится. И вот здесь я просто не могу не высказаться в защиту Symantec. Мне доводилось видеть результаты многих тестов с использованием огромного количества современного вредоносного ПО, и должен отметить, что продукция этой фирмы всегда была среди лучших. Неужели Consumer Reports считает ее менее “эффективной” лишь из-за того, что с ней сложней работать? Об этом известно только составителям обзора... Точно так же остались без объяснений и оценки других характеристик протестированной продукции, например антиспамовой.

Я попросил Consumer Reports прокомментировать мои заметки, но сделал это совсем недавно. Если ответ придет, я обязательно опубликую его в колонке и напишу об этом в своем блоге.

Ну, а теперь остается только поздравить с победой BitDefender, качества которого уже завоевали общее признание. Меня, правда, несколько раздражают слишком уж частые в нем ложные тревоги, но провести тестирование системы безопасности за краткое время при ограниченных средствах довольно сложно. Одним это удается лучше, другим же — гораздо хуже.

Ответ из Consumer Reports пришел уже после публикации данной статьи. Вот что написал в нем редактор журнала Джефф Фокс, курирующий технические публикации.

Сотрудники Consumer Reports уверены, что проведенное на научной базе тестирование — наилучший способ оценки продукции. В своей работе мы также пользуемся методами статистического анализа, которые позволяют оценить мнение потребителей. При подготовке сентябрьского обзора программных средств безопасности мы применяли оба метода, как это делается у нас на протяжении вот уже многих десятилетий. Некоторые замечания по сути вашей колонки приводятся ниже. ·

  • Статья отнюдь не полна “ссылками на информацию фирмы eMarketer”. У нее мы позаимствовали лишь два фрагмента данных — текущее количество американских домовладений, имеющих доступ в Интернет и оснащенных широкополосными подключениями. ·
  • Использование для онлайновых транзакций отдельной кредитной карточки позволяет избежать блокирования основной карточки в случае, если ее владелец стал жертвой мошенников. ·
  • Тестирование средств защиты проводилось с модифицированными версиями современного опасного ПО из-за того, что такие средства часто применяются для выявления подобных угроз.
  • И в заключение — несколько слов о вашем письме в Consumer Reports с предложением высказать свое мнение по поводу колонки. Этот запрос был отправлен по электронной почте вечером той же субботы, дата которой стоит на вашем материале. Таким образом, у нас оставалось на ответ меньше шести часов, причем в выходной день. Было бы гораздо лучше, если бы вы предоставили нам больше времени.
  • Действительно, я дал на ответ не слишком-то много времени, что честно признал в своей колонке. Надеюсь, что исправил такое положение публикацией полученного ответа.