Антиспамы впервые протестируют

Всемирно известный тестер антивирусного ПО компания Virus Bulletin (VB) планирует провести первый тест решений, предназначенных для защиты от спама. Предварительные итоги ожидаются в конце февраля, в начале марта 2009 г.

Эксперты и участники рынка ИБ давно говорили о необходимости разработки и проведения тестов для антиспамов. Но в отличие от антивирусной индустрии, где, кстати сказать, тоже не все так однозначно, выработать единые подходы и методики, устраивающие большинство крайне сложно. И дело здесь не только в качестве самого продукта. Очень многое зависит от набора тестовых сообщений, который отличается от реального потока и во времени, и географически и по другим параметрам.

«Впервые разработчикам о новом тесте было объявлено в октябре 2008 г. во время конференции VB2008 в Оттаве, - рассказал CNews Андрей Никишин, директор департамента контентной фильтрации «Лаборатории Касперского». - Тогда же прошел ряд встреч с вендорами, и совместными усилиями была выработана методология. На наш взгляд, методология тестирования антиспам-решений адекватна. За одним небольшим исключением. В отличие от вирусов, потоки нежелательных сообщений более локальны – скажем, российские пользователи получают больше спама на русском, а китайские – на китайском».

Virus Bulletin планирует использовать в качестве источника спама сообщения с международных (COM) почтовых доменов и, разумеется, доля не англоязычных сообщений там будет наибольшей. Что не на 100% будет отражать ситуацию для стран с высокой долей локального спама. «Мы надеемся, что неизбежные небольшие шероховатости первого тестирования будут в дальнейшем отшлифованы, и мы получим хороший индустриальный тест», - говорит Андрей Никишин.

В "Доктор Веб" надеются, что со временем VB наберет необходимый опыт в тестировании антиспамов и, может быть, сможет «избежать в нем тех ошибок, которые присутствуют в их антивирусных тестах». Позицию представителей этого вендора можно понять, они ее не раз озвучивали при критике VB. Практически любой тест антивурусов, это ни в коем случае ни тест решения целиком, а только лишь некоторого его функционала, например, скорости сканирования, качества детектирования или самозащиты. В результате пользователь зачастую вводится в заблуждение относительно возможностей продукта в целом.

Системный инженер Symantec в России и СНГ Кирилл Керценбаум, полагает, что расширение спектра технологий ИБ, которые хочет охватить своим вниманием VB, выглядит вполне закономерно. Однако, своевременность такого шага трудно оценить высоко, так как антиспам-технологии настолько плотно вошли в нашу жизнь, что на результаты подобных тестов мало кто будет обращать большое внимание. Собственно, подобная ситуация уже произошла с тестами антивирусов, которые регулярно и достаточно давно проводит Virus Bulletin.

Эксперт говорит: «Видимо, из-за потери популярности и внимания к данному тесту, VB решило диверсифицировать свою линейку аналитических исследований. Но если подход к разработке методики данного теста не учтет все текущие недостатки методики теста антивирусного, то популярностью он будет пользоваться недолго. В любом случае, достаточно интересно, что из этого получится, мы с нетерпением ждем результатов первого теста».

Позиция представителей Cisco в чем-то совпадает с мнением коллег из «Доктора Веб». Павел Антонов технический консультант Cisco Systems комментирует: «Верный способ сравнить два решения – тестировать их в лабораторных условиях. Там, где есть возможность поставить перед всеми участниками одинаковые рамки. Например, прогнать один и тот же поток заранее подготовленных писем через все тестируемые решения. Но за бортом в таком случае останутся репутационные фильтры. Т.к. репутация во многом является функцией времени».

Такой метод, конечно же, можно применить для тестирования контентного фильтра. Но насколько тест именно контентного фильтра будет отражать качество решения в целом? Простой пример - пустое письмо, в котором присутствует только URL адрес. Это спам или нет? Понять это можно оценив адрес по его web-репатуции. А вот только лишь анализ содержимого письма ни чего в этом случае не покажет.

Но как протестировать решение в целом, а не какую-то отдельно взятую компоненту? Эксперт предлагает: «Можно установить его в качестве боевого элемента живой сети, например, в качестве SMTP-шлюза (если необходим тест такого рода антиспама) и посмотреть какие результаты оно будет показывать. Здесь встает другая проблема: таким способом можно протестировать несколько решений, но как их сравнить? Придется либо разносить их по месту: один SMTP-шлюз у одного заказчика, второй у другого. Либо по времени - сначала один, потом второй. Т.е. условия изначально не одинаковы, а оценка будет скорее субъективной - нравится/не нравится».

Остается немного подождать и по итогам первого теста понять – это новый этап развития антиспамовой индустрии или очередной маркетинговый ход разработчиков тестов.