Шаг вперёд, два шага назад. Круугом! Шааагом – марш!

«Все на свете должно происходить медленно и неправильно, чтобы не сумел загородиться человек, чтобы человек был грустен и растерян»

(с) Венедикт Ерофеев, «Москва-Петушки»

Никогда бы не подумал, что буду применять эту фразу в отношении антивирусной индустрии. Но, увы и ах, – именно так и есть. Далеко не всё в этом мире развивается прогрессивно. Тёмная сторона силы регулярно перетягивает на свою сторону даже самых лучших. На этот раз оступилась одна из самых известных в антивирусном мире тестовых площадок — AV-TEST.

Немного ликбеза для начинающих: о сравнительном тестировании.

Как узнать какой именно товар лучше и почему? Ну, например, посмотреть результаты сравнительного тестирования в профильном журнале или Интернете. Знакомо? С антивирусами всё тоже самое – есть несколько тестовых лабораторий, которые «измеряют и взвешивают» самые разные антивирусы, а потом публикуют результаты измерений.

Так вот, по неизвестным загадочным причинам (дальше по тексту попробуем догадаться по каким именно) немецкая тест-лаборатория AV-TEST по-тихому (никого не предупреждая) изменила процедуру сертификации продуктов. Причём изменения таковы, что результаты тестирования по новым правилам стали… эээ… мягко говоря, малопригодными для сравнительной оценки разных антивирусов.

Да, именно так. Ответственно заявляю: сертификация AV-TEST более не позволяет адекватно сравнивать качество домашних антивирусных продуктов. Иными словами, использовать сей сертификат как руководство для выбора защиты – категорически не рекомендуется.

Теперь – к деталям. Что случилось и почему, или «экспресс-курс обучения как правильно читать результаты AV-TEST«.

Формула идеального антивируса придумана уже давным-давно. Это:

1. 100% защита и 0% ложных срабатываний.
2. Ноль потребления системных ресурсов.
3. И при этом никаких вопросов пользователю.
4. (Всё это чудо бесплатно, т.е. даром, но это уже совсем из области фантастики.)

Понятно, что такой идеал недостижим, но ведь можно бесконечно к нему приближаться. А именно, самое главное:

• Ловить максимально возможное число зловредов, а если уж проскочило – уметь потом вылечить заражение (да и просто уметь ставиться на заражённый комп).
• Минимизировать риск ложных срабатываний – а уж если произошло, то максимально быстро их убирать.
• «Нет предела нашему интегралу», — говорит один мой хороший знакомый, так вот – нет предела работам по оптимизации потребления системной памяти, времени работы процессора, количеству и объёму скачиваемых из Интернета апдейтов. Но никак не в ущерб безопасности.

Вроде всё должно быть понятно. Но что делать простому юзеру, глядя на десятки антивирусных продуктов? Какой лучше и почему? Кто авторитетно сможет их ранжировать по степени близости к «идеальному антивирусу»? (при том, что вся эта толпа, все как один и весьма аргументированно – все считают самыми лучшими себя, любимых).

Кто?.. Очевидно – независимые тестеры. И AV-TEST – один из них.

Несколько лет назад эта команда создала очень правильную методологию тестирования и накрутила на неё не менее правильную систему сертификации. Сначала продукты тестируются по трём критериям: «защита» (предотвращение заражения), «лечение» и «юзабилити» (удобство пользования: производительность и количество ложных срабатываний). По результатам (совокупному количеству баллов) выдаётся или не выдаётся именной сертификат. Мы эту систему всегда поддерживали и ставили в пример наряду с другими тестерами «высшей лиги».

Так что за метаморфоза случилась с AV-TEST, из-за чего его сертификация потеряла доверие?

Во-первых, изменён список критериев для получения сертификата. За бортом оказался такой важный параметр как «лечение«. Вообще, нужен ли антивирус, который может обнаружить заразу, но не способен её вылечить? (ага, сцена у стоматолога: «у вас кариес, но лечить мы его не будем, не умеем!»). А ведь совсем недавно мы выяснили, что около 5% всех компьютеров в мире  с установленным антивирусом – они оказались заражены! Каждый двадцатый!

Аналогичную цифру мы получили при оценке количества наших  новых пользователей, которым требуется процедура лечения активного заражения сразу(!) после установки продукта. Итого – каждому двадцатому пользователю этот функционал антивируса крайне необходим, а остальным 19-ти – крайне желателен, поскольку каждый из них рано или поздно рискует стать «каждым двадцатым».

Да, AV-TEST пообещал сделать отдельный, более прогрессивный тест на лечение, но он больше не будет влиять на сертификацию, а главное – будет опциональным! Не уверен в своем качестве лечения – не участвуй. Это, кстати, намёк – следите кто и как участвует в этом тесте и поймёте какие антивирусы достойны защищать ваш компьютер.

Во-вторых, снижена планка для получения сертификата – теперь для получения «медальки» достаточно 10 баллов из 18-ти.

В-третьих, под «юзабилити»  теперь понимается только число ложных срабатываний, что, скажем прямо, не соответствует столь громкому названию. Ранее, когда в этом критерии также была «замешана» производительность, это намного точнее отражало сущность термина. В нынешнем балансе тестовых критериев AV-TEST’а ложные срабатывания могут вполне быть включены в категорию «защита» в качестве противовеса (что и делают большинство тестовых лабораторий).

Какие последствия будут у такого изменения процедуры сертификации AV-TEST?

Прежде всего, ценность сертификации серьёзно девальвируется. Количество участников тестов возрастёт, ибо некоторые антивирусы раньше сознательно не участвовали в тестах, понимая, что при их уровне развития защитных технологий никакого сертификата им и не светит. Теперь «медалька» от AV-TEST будет почти у каждого, не размахивать им будет только ленивый или безрукий.

Более того, сложность прохождения этой сертификации теперь такова, что «сертификат качества» AV-TEST может получить «антивирусное поделие» весьма сомнительного уровня. А что? Новых зловредов искать не надо – достаточно «сесть» на поток от сервисов типа VirusTotal. Ничего анализировать тоже не надо – достаточно поставить «мульти-сканер» и «тупо детектить» файлы, которые уже детектятся другими. Причём детектить по MD5, чтобы гарантировать отсутствие ложных срабатываний. Это работа на неделю для ленивого студента! Ну, потом нарисовать «морду», слепить мини-апдейтер, перехватить пару Виндовых функций, чтобы симулировать постоянную защиту, повесить иконку в трей, обернуть в инсталлятор – и всё! Можно посылать в AV-TEST и ждать сертификата! Тьфу…

Короче, важный баланс между оценкой защитных технологий и «юзабилити» утерян. Сертификаты для антивирусов для домашних пользователей от AV-TEST теперь, увы, — полная туфта. Ещё пара шагов в этом направлении и критериями качества у них будут: размер дистрибутива (меньше – лучше), частота апдейтов (реже – лучше) и дизайн интерфейса (больше котят – лучше).

Вот так… А теперь пора переходить к следующей части повествования –

Спрашивается: и зачем AV-TEST это сделал? Нафига делать себе и другим плохо?

Об истинных причинах такого шага мало что известно (AV-TEST крайне скудно эти события комментируют), но можно включить мозг и подумать. И для начала надо разобраться в экономике тестового бизнеса.

Да, тестирование – это бизнес. И у него есть своя экономика. И я это вполне понимаю – сделать хороший тест стоит не только большого ума и смекалки, но также требует вложений в инфраструктуру, офисного пространства и заработной платы. И, как в любом бизнесе, здесь есть зависимость между качеством и прибылью. Иногда компании сознательно идут на снижение качества, чтобы увеличить эту самую прибыль. В краткосрочном плане это действительно принесёт больше «бабла», но в перспективе ведёт к деградации и забвению.

Что-то мне подсказывает – здесь как раз тот самый случай. Из «обязательной программы» убраны наиболее сложный тест – на лечение заражённой системы. Теперь же достаточно просто прогнать продукты по коллекциям зловредов и чистых файлов и – вуаля!

Да, новая процедура удешевит тестирование и привлечёт в AV-TEST новых заказчиков, что радостью оплатят свои «медальки», которые теперь будут висеть на каждом антивирусном сайте. А с другой стороны, тестовый центр потеряет уникальность и доверие наиболее технологичных антивирусных вендоров, на которых и держится вся индустрия. Увы.

Я отнюдь не порицаю желание заработать больше! При правильной расстановке приоритетов – это хорошее мерило успешности бизнеса и качества продуктов и услуг. И, разумеется, помогает ещё пуще поднять качество и, ко всеобщему благу, заработать ещё больше :) Тестовая индустрия – не исключение. Многие компании на этом рынке идут по пути диверсификации компетентности, осваивая новые тестовые ниши (AV-TEST тут тоже отметился), копают не только вглубь, но и вширь, прокачивая профессиональную карму. А можно в погоне за длинным пфеннигом стремительно «опопсеть», девальвировав свой вердикт до уровня «сертификаты всем желающим по сходной цене».

Логично спросить – а почему наши продукты ещё в системе тестирования AV-TEST?

Прежде всего, наша принципиальная позиция – чем больше тестов, тем объективнее мнение. Бояться нам нечего, в своих технологиях и уровне защиты мы уверены, а если у нас есть претензии к какому-либо из тестов, то мы прямо и публично об этом скажем.

Кроме того, AV-TEST проводит много других полезных тестов и сертификаций, в том числе в области корпоративных и мобильных продуктов. При этом функция лечения для корпоративных заказчиков не столь принципиальна, как для домашних пользователей. Даже в небольших компаниях, как правило, есть сисадмин и резервное копирование, которые совместно помогут победить заражение, если уж антивирус не справился.

Резюме:

1. Мы официально НЕ РЕКОМЕНДУЕМ пользователям ориентироваться на сертификацию AV-TEST в процессе выбора продукта для защиты домашних компьютеров.
2. Тем не менее, мы считаем приемлемым учитывать результаты отдельных категорий «защита», «производительность» и, конечно, обещанного теста на «лечение».
3. AV-TEST стоит учитывать мнение экспертов антивирусной индустрии, чтобы создать действительно адекватную систему сертификации, помогающую пользователям принимать обоснованные решения при выборе продукта. Например, вернуться в  AMTSO (Anti-Malware Testing Standards Organization) и обсудить «острые углы» с представителями практически всех ведущих вендоров и экспертами.