А в попугаях я гораааздо длиннее!

Всем привет,

Я тут при помощи коллег потихоньку начал публиковать материалы (тут и тут) по ключевым технологиям — чтобы «обкатать» их на публике, посмотреть на реакцию и собрать идеи. Помимо «технологических хвалилок» будут здесь и результаты сравнительных тестов и аналитических сравнений. Буду эти тесты/сравнения критиковать или наоборот — рекомендовать.

Для «разогрева» и вообще понимания происхождения «попугаев» в тестах вот такой фрагмент:

А сейчас о тестах PassMark.

Это тесты на производительность, вернее — на «уровень торможения» эталонной системы разными антивирусными продуктами. В свежеобнародованном тесте участвовали продукты пяти компаний, успевших выпустить «версии-2012» — это мы, Симантек, Аваст, Панда, G-Data.

По результатам первый – Симантек, потом Аваст, потом мы. Ну, не будем судить об объективности и независимости, поскольку Passmark и так ничего не скрывает: дисклеймер документа честно сообщает, что тест субсидировался и проводился по методологии одного из участников:

Symantec Corporation funded the production of this report and supplied some of the test scripts used for the tests

Любопытно, что этот дисклеймер присутствует и в предыдущих тестах антивирусного софта (2010, 2009, 2008). Догадайтесь, кто в них занимал первое место?

Но факт теста налицо, победитель апеллирует к мнению уважаемой организации (а Passmark действительно таковой является), размахивает флагом, публика аплодирует и восторгается. Посему уж очень интересно узнать каким образом некоторые «supplied scripts» повернули тест таким образом, чтобы возвести на престол спонсора?

На самом деле просто надо посмотреть на эти тесты внимательнее. И самое интересное в них то…  что результаты всех «замеров» имеют один и тот же вес!

То есть. Тест проводится следующим образом. Каждый продукт «замеряется» по 17-ти параметрам (скорость загрузки системы, скорость запуска Эксплорера, скорость открытия и копирования файлов, и т.п.). Затем продукты ранжируются по местам, занятым на каждом этапе — результаты ранжирования суммируются, и кто набрал больше очков — тот и победил.

Так вот, в этом тесте «мухи и котлеты» имеют абсолютно равные, одинаковые веса! В данных тестах предполагается, что для пользователя абсолютно одинаковую важность имеют такие параметры как «время инсталляции продукта»(!), «скорость упаковки/распаковки архивов», «количество ключей системного реестра» и «пропускная способность сети». А вот мне эти параметры абсолютно не одинаковы! Не сомневаюсь, что для читателя тоже!

Посему и возникла идея расставить веса у каждого «замера» — и посмотреть на скорректированный результат.

Веса расставляем следующим образом:

• 0 — я считаю, что «замер» вообще нерелевантен для реальной жизни.
• 1 — данное действие совершается крайне редко, не чаще нескольких раз в год.
• 2 — раз в неделю или две, не чаще.
• 5 — раз в день, или пару-тройку раз в лучшем случае.
• 10 — частенько.
• 20 — постоянно, много, это и есть самое главное!

Для сценария моей повседневной работы получилось вот что:

• Тест 1. Скорость первоначальной загрузки системы. Нечасто. Вес — 2.
• Тест 2. Время сканирования диска по запросу. Редко. Вес — 2.
• Тест 3. Потребление памяти на «idle». А вот тут я готов поспорить — поскольку некоторые действия мы как раз на idle и откладываем, чтобы не грузить компьютер в «боевое время». Посему вес — 0.
• Тест 4. Запуск Эксплорера. Вес — 5.
• Тест 5. Скорость работы Эксплорера. Если кто-то кликает постоянно, не читая скачиваемое — т.е. вообще без пауз, то, конечно, надо вес 20. Для меня — 10.

И так далее (см. таблицу внизу). За исключением вот этих тестов, которые требуют пояснения:

• Тест 8. Размер дистрибутива. Ээээ??? Это вообще как влияет на «скорострельность» продуктов? Да и сравнивать тогда это надо в одном комплекте с «размер данных, докачиваемых из сети во время инсталляции». Ну пусть будет. Вес — 1.
• Тест 9. Число добавленных ключей реестра. А вот это вообще смешно. Они бы еще подсчитали число файлов на диске и количество букв в названиях файлов :) Вес — 1.
• Тест 12. Скорость копирования файлов по сети. Почему-то наш результат они не смогли замерить. Потом разобрались, но поезд ушёл. В итоге «замер» получился нерелевантным, вес – 0.
• Тест 15/16. Открытие-чтение-запись файла, сканирование PE-файлов. Вот это и есть самое главное! На это и надо «точить» скорость продуктов! Вес — 20.
• Тест 17. Копирование файлов с диска на диск. Поскольку тестировались домашние продукты — то смысла в «копировании файлов с одного локального диска на другой» не вижу вообще. Ну да ладно, пусть будет вес — 3.

Вот и всё. А теперь, если подсчитать общий результат с учётом объявленных весов — то результат получается совсем не в пользу Симантека :)

Ну это, конечно, мои личные преференции. У каждого они свои – смотрите сами. Главное – нельзя слепо верить результатам тестов. Особенно с недвусмысленными дисклеймерами :)

Кстати, была бы, наверное, неплохая идея — написать апплет, где каждый желающий мог бы поставить веса каждому «замеру», исходя из своего сценария работы и получить личный, самый что ни на есть индивидуальный результат.

Справедливости ради замечу, что не только этот тест страдает таким изъяном. Увы, практически все бенчмаркинги (ага, те самые «попугаи») пренебрегают весами, сваливая «мух и котлеты» в одну кучу.

Спросите, а как же тогда ориентироваться? Кто может авторитетно замерить качество антивируса? Ответ прост – реально НЕТ такого теста, который я бы мог однозначно рекомендовать как лучший показатель. У одних недостатки методологии, другие сильно специфичны. Мой совет — как и в личных финансах ориентируйтесь на «корзину» — смотрите сразу на несколько тестов. Например, AV-Test Андреаса Маркса, AV-Comparatives Андреаса Клементи, Anti-Malware.Ru, Virus Bulletin, Matousec.

Будет время — расскажу про все эти тесты тоже. Про их вкусности и недостатки.

Вот, на этом всё, всем пока!