AV-Comparatives, мы — продукт года!

Всем привет из Австрии!

У нас здесь очень неплохое начало этого путешествия (и этого года в целом) — мы получили награду Product of the Year от AV-Comparatives!!!

Теперь небольшой ликбез о тестах.

1. Зачем вообще нужны тесты антивирусных (в широком смысле антивирусных) программ? Во-первых, для того, чтобы простой (и не очень простой) пользователь в момент раздумий и мучительного выбора индивидуальной (или корпоративной) защиты мог обратиться за истиной к авторитетному источнику. Во-вторых, чтобы всякие негодяи не орали что они «самые крутые и лучшие вшигонятельные средства», чтобы отвечали за базар! Отделять надо крикливый маркетинг от технических реалий. И, кстати, чтобы можно было следить за изменением качества защиты во времени — следить за тем, как разные вендоры успевают реагировать на новые компьютерные напасти — и как долго могут «держать планку». И в-третьих, чтобы производители защитных изделий не расслаблялись — чтобы держали себя в тонусе.

2. Тесты бывают разные. Бывают «правильные» — которые эмулируют реальные ситуации, настоящие заражённые сайты и поведение обычного пользователя. Эти тесты очень дорогие и проводятся очень редко. Посему наиболее распространённые тесты — «симуляция» заражённой среды и тестирование секюрити-продуктов не «целиком» — а по частям, например, тест детекта на миллионных коллекциях, тесты эвристик, тесты лечения заражённой среды и тп. Бывают и заказные ПР-тесты, результаты которых зависят не от качества тестируемых продуктов — а от корыстного интереса тестера (да-да, такие тоже бывают).

3. Одной из самых известных тестовых антивирусных лабораторий является австрийская команда AV-Comparatives под руководством Андреаса Клементи (Andreas Clementi) — он есть на фотках ниже, прошу любить и жаловать! Здесь проводятся самые разные тесты — как «правильные» с полной эмуляцией реальной среды, так и «частичные» по разному функционалу тестируемых антивирусов. Всего проводится 10 и более тестов и по их результатам определяется продукт года. Ура-ура! За 2011й год награда досталась нам! Особенно приятно, что это уже третий «Продукт года», который мы получаем с момента создания AV-Comparatives (неприятно, конечно, то, что не каждый год награда доставалась именно нам…)

Вот они мы — вместе с Андреасом и Никитой (руководитель Лаборатории Антивирусных Исследований в Лаборатории имени меня ;)

Понятно дело — сразу пресса и интервью.

Вот так выглядит сама лаборатория AV-Comparatives, выглядит весьма скромненько — но техники там на самом деле набито до чёрта.

А вот сводная табличка тестов AV-Comparatives за прошлый год.

Остальные фотки смотреть тут.

4. Прочие награды за 2011. Мы очень напряженно работали — и в конце прошлого года собрали целый букет разных индустриальных наград:

4.1. Тест-центр AV-test.org под руководством тоже Андреаса, но Маркса, Германия. На этом фронте всех порвали KIS и наш новый корпоративный продуктKES. И это не просто победа, а абсолютный рекорд за всё время его существования и для всех вендоров! KIS пришёл к финишу со счётом 17, а KES8 – 17,5 (максимальный результат – 18, среднее по индустрии — 13,2). Кстати, тесты AV-Test.org широко тиражируются разными журналами: вот тут PC Welt свёл результаты топ-10 продуктов в одну таблицу, где сразу видно кто и как выступил. Вообще, наш отрыв в 1,5 очка от второго места – это очень-очень круто! Ура-ура!! Подробности тестов читать здесь и здесь.

4.2. Последний (декабрьский) VB100 для KIS и KES. Не, это не просто очередная медалька от Virus Bulletin, которых у нас хоть… ээээ… соли. Это был первый тест, проведённый по новым правилам, которые сразу вынесли за борт некоторых «завсегдатаев». Теперь тесты делятся на 2 части – обязательная (новые фичи: детектирование марвары по коллекции WildlistExt + работающее облако в on-demand сканировании) и «показательная» (RAP-тесты, на сертификацию VB100 не влияют). Подробности читайте в журнале, я же посылаю свой пламенный респект VB — «старичок» не стоит на месте, меняется и даже даёт «прикурить» приспособленцам – тем, кто заботится не о реальной защите, а о формальных результатах в тестах.

4.3. Немецкие Computer Bild и PC Welt — мы тоже на верхней ступеньке пьедестала И так далее.

5. Да, иногда мы как в спорте — не всегда приходим к финишу первыми. Иногда это наши косяки (разбираемся и исправляем), иногда — косяки тестеров (разбираемся, пытаемся убедить и изменить систему тестирования).

Короче, индустрия тестирования и участие во всех этих тестах — это действительно как в спорте. Чтобы побеждать — надо много тренироваться. Чтобы не дисквалифицировали — без допинга (есть в АВ-индустрии и такая тема…), но и упорный труд не всегда гарантирует победу… Но как же приятно стоять на самом верху подиума!!!