БЕЗОПАСНОСТЬ
создали “Лаборатория Касперского” и компания “Ашманов и партнеры”
Свыше 100 тыс. долл. вложили “Лаборатория Касперского” (www.kaspersky.com) и компания “Ашманов и партнеры” (www.ashmanov.com), созданная летом 2001 г. для разработки интеллектуальных средств автоматического анализа содержания текстов, в разработку программного комплекса Kaspersky Anti-Spam. Корпоративная версия данного продукта предназначена для использования в организации, имеющей собственный почтовый сервер на платформе Unix FreeBSD 4.x или Linux. Сейчас она проходит опытную эксплуатацию в “Лаборатории Касперского” и, по словам генерального директора фирмы Натальи Касперской, выявляет 85-95% спамерских писем при уровне ложных срабатываний в 0,01-0,05% (т. е. на 10 тыс. правильно идентифицированных бесполезных посланий приходится от одного до пяти “невинно оклеветанных” писем). Статистика эта основана на огромном экспериментальном материале, так как в адрес сотрудников “Лаборатории” еженедельно приходит около 4000 нежелательных писем и их число постоянно растет.
Игорь Ашманов и Наталья Касперская
считают, что проект Kaspersky Anti-Spam
может окупиться уже за полгода
Вообще говоря, комплекс можно настроить так, что спам станет отфильтровываться практически полностью, но тогда возникнет опасность, что вместе с “мусором” в корзину регулярно будет лететь и часть корреспонденции, представляющей интерес для адресата, - например, оригинальные коммерческие предложения или приглашения на деловые семинары, по форме напоминающие зазывалки на презентации для лохов.
Кроме “Лаборатории Касперского” продукт несколько месяцев тестировался и в ряде других организаций. Наталья Касперская и Игорь Ашманов, управляющий партнер компании “Ашманов и партнеры”, считают, что данное изделие уже вполне обкатано и созрело для массового рынка: 5 декабря начались продажи его корпоративного варианта, а к апрелю 2003 г. станут доступны версии, ориентированные на индивидуальных пользователей, работающие под управлением ОС Windows и взаимодействующие с почтовыми клиентами MS Outlook, Outlook Express и The Bat!.
Цена корпоративного варианта пакета Kaspersky Anti-Spam зависит от числа защищаемых электронных адресов: если таковых наберется более ста, то стоимость защиты одного адреса составит примерно 8 долл., а если меньше - то несколько выше. Особенность данного комплекса состоит в том, что он в отличие от других продуктов аналогичного назначения использует не один метод фильтрации спама, а сразу четыре.
Во-первых, письмо проверяется на вхождение IP-адреса отправителя в актуальные черные списки (RBL, Real-time Black Lists), которые в разных странах ведут провайдеры и различные общественные организации. Администратор системы может также вести корпоративный белый список, т. е. список деловых партнеров, чья почта принимается всегда, что бы в ней ни содержалось.
Во-вторых, анализируются формальные признаки пришедшего письма. К числу подозрительных относятся послания, отправленные слишком большому числу получателей, а также те, в которых IP-адрес отправителя либо отсутствует вообще, либо не входит в систему Интернет-адресов DNS, и т. д.
В-третьих, с помощью специального эвристического алгоритма (ноу-хау компании Ашманова) исследуется содержание письма и приложенных к нему файлов (обычные ASCII-тексты, RTF- и HTML-документы, документы, сохраненные в форматах Microsoft Word версий 6.0 или 95/98/2000/XP). При этом проверяется наличие в текстах признаков спамерского содержания. На основе смыслового анализа текста фильтр автоматически классифицирует сообщения, относя их к различным категориям (такого рода категорий может быть до 500, например: “Сходи на сайт”, “Для взрослых”, “Купи виагру”, “Купи софт”, “Увеличь за три недели то или это”, “Горящие путевки”, “Посетите семинар”, “Обучение английскому”, “Заработок в Интернете”, “Обеспечь себе финансовую независимость”, “Снизь налоги” и т. п.) с указанием степени достоверности.
И наконец, текст письма проверяется на наличие в нем словосочетаний, характерных для стиля спамописателей (лингвистическая лаборатория компании “Ашманов и партнеры” ведет базу данных, содержащую соответствующие лексические сигнатуры).
Г-н Ашманов подчеркивает, что главным показателем качества работы любого фильтра входящей корреспонденции является не распознавание максимального количества спамерских писем, а отсутствие ложных срабатываний, т. е. отнесений обычных писем к категории “мусорных”.
Необходимо отметить, что в общем случае смысловая рубрикация сообщений носит вероятностный характер. Поэтому системному администратору компании, занятому настройкой фильтра, рекомендуется никогда не уничтожать входящую почту, отфильтрованную на основе контентного анализа. Такая почта должна архивироваться (например, путем перенаправления ее на специальный адрес) и храниться в течение определенного срока. Практика показывает, что ложные срабатывания обычно вызывают не деловые письма, а пресс-релизы и рассылки с преобладанием рекламной лексики. Еще один потенциальный источник сбоев в работе фильтра - предупреждения антивирусных фирм с цитатами из сообщений программ-вирусов.
Для анализа почтовых сообщений по содержанию комплекс Kaspersky Anti-Spam использует специализированные лингвистические базы данных, которые ежедневно автоматически обновляются через Интернет. Эти базы содержат данные трех типов:
- регулярно модифицируемый иерархический рубрикатор нежелательных сообщений (сейчас в нем около 500 “полочек”);
- семантические образы “мусорных” писем; каждой рубрике соответствует свой семантический образ - набор словосочетаний (в настоящее время их около 12 тыс.) с присвоенным им весом;
- лексические сигнатуры, обеспечивающие работу четвертого слоя фильтра.
При получении писем на разных языках фильтр использует встроенные модули лингвистической поддержки. В настоящее время пакет Kaspersky Anti-Spam обеспечивает распознавание спама на русском, английском, немецком, французском и испанском языках. Разработчики утверждают, что отсутствие лингвистической поддержки для других языков не означает невозможности анализа соответствующих сообщений. Алгоритмы распознавания будут действовать и в этом случае, но с меньшей точностью.
По словам Игоря Ашманова, в мире насчитывается не менее 20 тыс. самых разных по масштабу деятельности спамоотправителей (спамеров). Некоторые из них для отсылки своей корреспонденции располагают лишь одним IP-адресом, но есть и владеющие целой сетью IP-адресов - до 64 тыс. “ячеек”. Из этих цифр становится понятным, почему использование фильтров спама, основанных только на ведении черных списков, неэффективно. Практика показывает, что такого рода фильтры отсекают не более трети спама. Плюс ко всему составление и ведение таких списков - крайне трудоемкий процесс, особенно если учесть, что спамеры в силу различных причин часто меняют используемые ими IP-адреса. К тому же происходит определенная ротация и среди спамоотправителей. Да и не всегда IP-адрес отправителя можно вычислить, так как есть умельцы, научившиеся их искусно маскировать.
Создатели комплекса Kaspersky Anti-Spam подчеркивают, что в каждом конкретном случае требуется тщательная настройка бизнес-логики работы, т. е. составление списка правил о том, как поступать с письмом после того, как оно признано спамерским. Эти правила могут включать удаление, пересылку, разметку письма (добавление метки в заголовок), архивирование его в указанных папках, отсылку уведомления системному администратору или пользователю и т. д.
Настройка бизнес-логики фильтрации производится администратором почтового сервера через Web-интерфейс при помощи специальной программы-конфигуратора. Наряду с общими правилами, применяемыми для всех писем, проходящих через фильтр, можно задать индивидуальные для конкретного получателя или группы получателей.
К письмам, в которых обнаружены признаки спама, могут применяться, в частности, следующие схемы:
- непринятие почты (“отбивка”) - спамерская почта данной категории не пропускается почтовым сервером, при этом отправитель получает уведомление о том, что такого адреса не существует, т. е. происходит обман спамера;
- уничтожение (“чёрная дыра”) - спам этой категории просто уничтожается, а отправитель не получает никаких уведомлений;
- архивирование - спамерская почта перенаправляется на некоторый архивный адрес и не доставляется адресату (отправитель при этом может либо получать соответствующее уведомление, либо нет);
- пересылка с разметкой - в этом случае спам пересылается адресату, а каждому сообщению приписывается дополнительный заголовок (допустим, Spam/ Porno), на основании которого производится сортировка почты на уровне клиентской почтовой программы (например, по правилам Outlook).
Перечисленные выше схемы обработки письма - наиболее типичные, но далеко не единственные. Администратор, используя возможности настройки фильтра, может создавать исключительно изощренные варианты его бизнес-логики.
Учитывая, что сегодня проблема засорения электронной почты непрошеными письмами стоит как никогда остро (по некоторым оценкам, спам составляет до 20% всего сетевого трафика, а к 2005 г. этот показатель может возрасти до 50%), актуальность нового продукта трудно переоценить. С его помощью заказчики смогут сэкономить огромное количество рабочего времени сотрудников.
И в заключение несколько слов о том, что же такое спам. Если порыться в электронном словаре “МультиЛекс” (кстати говоря, его ведущие разработчики ныне являются сотрудниками компании “Ашманов и партнеры”), то выяснится, что SPAM - не что иное, как фирменное название консервированного колбасного фарша. В нынешнем значении этот термин начал использоваться после исполнения в 1972 г. английской комик-группой Monty Python Flying Circus скетча, в котором посетители ресторанчика, пытающиеся сделать заказ, вынуждены слушать хор викингов, воспевающий эти мясные консервы, входящие в состав практически всех блюд.
Применительно к навязчивой сетевой рекламе термин “спам” стал употребляться несколько лет назад, когда рекламные компании начали публиковать в новостных конференциях Usenet свои объявления. На счастье подписчиков таких групп новостей, продолжалось это недолго, так как технология Usenet предусматривает фильтрацию сообщений и администраторы конференций просто удаляли спам раньше, чем он попадал к большому числу людей. Потерпев здесь неудачу, спамеры переключились на рассылку рекламы по группам адресатов.
Рассылка спама в современном Интернете считается противоправным занятием, и в законодательстве ряда стран предусмотрена ответственность за подобного рода деятельность. Лидером в регулировании данных общественных отношений выступили США. В различных американских штатах соответствующие юридические нормы появились с 1998 г. В то же время в США электронное письмо не относится к спаму, если оно содержит контактную информацию отправителя и method of removal (возможность отказа от рассылки). В Европе с 8 июня 2000 г. аналогичная политика установлена Директивой Европарламента № 2000/31/EC (так называемая “Директива по электронной коммерции”).
Каждая страна борется со злом по-своему. Так, в Норвегии запрещен прямой маркетинг с использованием электронной почты без предварительного согласия на него получателя информации. В Финляндии с 1999 г. действует закон, по которому разрешается рассылать информацию только предварительно подписавшимся на нее физическим лицам (данный механизм имеет обозначение opt-in), а в случае направления незапрашиваемой коммерческой информации юридическим лицам последние должны иметь возможность от нее отказаться (opt-out). В Австрии внесенные недавно поправки в закон о телекоммуникациях позволяют требовать с отправителя незапрашиваемой почтовой рассылки компенсацию в размере до 500 тыс. австрийских шиллингов.
В России пока нет юридических норм, регулирующих массовые почтовые рассылки. Более того, сам термин “спам” до сих пор не узаконен и не употребляется ни в гражданском, ни в уголовном праве. И. Ашманов и М. Волович в своей 17-страничной статье “Что такое спам и как с ним бороться” приводят такое толкование данного термина: “Спам - это анонимная массовая непрошеная рассылка”. Из этого определения следует, что коммерческое предложение, направленное на ваше имя и содержащее адрес отправителя, не является спамом.
Другое дело, что такое письмо может быть нежелательным и вызывать раздражение. Однако с помощью фильтра Kaspersky Anti-Spam его также можно отнести к определенной рубрике (например, “Непрошеные деловые предложения”) и отфильтровать.
Другие определения спама можно найти на сайте так называемого “Профсоюза спамеров” (www.osios.org, Общественный совет по информационному обмену в сети), открытом в феврале 2002 г., а кроме того, на сервере компании “Зенон Н.С.П.”, посвященном проблемам борьбы со спамом (www.AntiSpam.ru), и на множестве других сетевых ресурсов.
