Поисковые службы Интернет (например, Archie, Veronica, WAIS и Yahoo) помогают найти нужную информацию, но чтобы отслеживать ее изменения, приходится периодически перечитывать найденные страницы Web и списки файлов в архивах FTP и на серверах Gopher. Это утомительно для пользователя и неэффективно с точки зрения загрузки Сети. Было бы заманчиво переложить рутинную работу на агента, который бы проводил необходимые сравнения и своевременно сообщал об изменениях.
В Интернет создана бесплатная служба URL-minder, берущая на себя слежение за изменениями информационных ресурсов. Принцип ее действия прост. Пользователь регистрирует интересующие его ресурсы, указывая их идентификаторы в стандартном формате URL (Universal Resource Locator) и свой адрес электронной почты. Агент периодически прочитывает каждый зарегистрированный ресурс, вычисляет контрольную сумму и сравнивает ее со значением, вычисленным при предыдущем чтении. При несовпадении сумм агент по электронной почте уведомляет подписчиков об изменении. Сравнение производится один раз в сутки, но по мере увеличения числа подписчиков этот период, возможно, будет увеличен.
Каждый пользователь может зарегистрировать любое количество ресурсов. Несмотря на это, работа URL-minder достаточно эффективна, поскольку при любом числе подписчиков каждый ресурс прочитывается только раз, а псевдослучайный алгоритм выбора опрашиваемых серверов не приводит к их перегрузке. Агент ограничивает длительность считывания каждого ресурса, что может помешать работе с очень большими файлами или очень медленными серверами. Отсутствие административных ограничений, конечно, не освобождает пользователей от необходимости отменять регистрацию ненужных ресурсов. Служба URL-minder, как и другие службы Интернет, спроектирована в расчете на сознательного пользователя.
Совпадение контрольных сумм - достаточно надежный показатель неизменности информации, но при слежении за страницами Web надо учитывать, что агент проверяет только HTML-описание страницы, не принимая в расчет ссылки на графические файлы или другие страницы. При необходимости слежения за вложенными ресурсами их нужно регистрировать отдельно.
Несовпадение контрольных сумм не всегда связано с изменением содержания страницы Web. Например, наличие на странице счетчика обращений (access counter) приводит к ложным уведомлениям. При их получении рекомендуется связаться с администратором соответствующего сервера.
Агенты расширяют возможности работы с Интернет в режиме off-line (см. статью “Оффлайновая работа в Web” в PC Week/RE, № 40/96, с. 15), основанные на кэшировании и зеркалировании информации. До получения уведомления информация может оставаться в кэше сколь угодно долго, а перечитывание измененных страниц можно автоматизировать.
Служба URL-minder хорошо сочетается с поисковыми службами Web, например Yahoo или Lycos. Сформулировав поисковый запрос и зарегистрировав страницу результатов поиска, пользователь будет получать уведомления при каждом изменении совокупности найденных ссылок. Чтобы не мешали ограничения длительности считывания (тайм-ауты), при составлении запроса нужно максимально сузить область поиска.
Устраняя многократное перечитывание насыщенных графикой страниц, служба URL-minder действительно освобождает время пользователя и сокращает его расходы на подключение к Сети. Служба URL-minder развивается. Чтобы быть в курсе дела, нужно зарегистрировать описание новых возможностей (news.html), список типичных вопросов (faq.txt) и пополняемый пользователями системы перечень остроумных применений агентов URL-minder (clever.html). Ссылки на эти ресурсы содержатся на базовой странице http://www.netmind.com/URL-minder/URL-minder.html, где можно зарегистрировать ресурсы, получить их список и отменить регистрацию. Для того, чтобы сделать то же самое по почте, нужно отправить по адресу URL-minder@netmind.com пустое (без текста сообщения) письмо с “URL-minder help” (без кавычек) в поле “Subject:”.
Вадим Федоров
С автором статьи можно связаться по адресу: vfeodorov@glasnet.ru.
