17 марта, 2015
Отчёт о проделанной работе, год 2014.
Мы все постоянно делаем разную полезную работу. А у любой работы должна быть высшая цель, а у высшей цели – критерий её достижения.
Мы спасаем мир от кибер-нечисти – хорошо или плохо? Абсолютно высшей цели и относительно других спасальщиков.
Для оценки успешности этой амбициозной задачи мы используем различные метрики. Одна из главных – независимая экспертная оценка качества наших продуктов и технологий. Чем лучше показатели, тем наши технологии лучше давят цифровую заразу и, объективно, лучше спасают мир :)
И кто это может сделать? Разумеется, независимые тестовые лаборатории! Но вот вопрос – как это всё обобщить? Ведь в мире проводятся десятки, сотни тестов всеми кому не лень!
Как из этой каши выжать самое правильное — то, что отражает максимально правдоподобную картину способностей сотен антивирусных продуктов? И исключить возможность тестового говномаркетинга? И сделать эту метрику понятной широкому кругу пользователей для осознанного и аргументированного выбора защиты?
Счастье есть, его не может не есть быть! Несколько лет назад мы вывели для себя следующую формулу оценки – «TOP3-рейтинг».
Как она работает?
Во-первых, нужно учитывать все известные тестовые площадки, проводившие исследование анти-зловредной защиты за отчётный период. Во-вторых, нужно учесть весь спектр тестов выбранных площадок и всех участвовавших вендоров. В-третьих, нужно брать в расчёт а) количество тестов, в которых вендор принял участие; б) % абсолютных побед и в) % призовых мест (TOP3).
Вот так — просто, прозрачно и по каждому пункту нечистоплотного тестового маркетинга (а такое, увы, частенько бывает). Конечно, можно навернуть ещё 25 тысяч параметров для добавления 0,025% объективности, но это будет технологический нарциссизм и гик-занудство – и тут мы точно потеряем рядового читателя… да и не очень рядового тоже. Самое важное – мы берём конкретный период, всю совокупность тестов конкретных площадок и всех участников. Ничего не упускаем и никого не щадим (включая себя).
Интересно? Дык! Давайте теперь натянем эту методологию на реальную энтропию мира по состоянию за 2014-й год!
Технические подробности и disclaimers, кому интересно:
- Учтёнными в 2014 году оказались исследования от восьми тестовых лабораторий. Они имеют многолетний стаж, технологическую базу (сам проверял), внушительное покрытие как вендоров, так и различных защитных технологий) и являются членами AMTSO). Вот они: AV-Comparatives, AV-Test, Anti-malware, Dennis Technology Labs, MRG EFFITAS, NSS Labs, PC Security Labs и Virus Bulletin
- Учитываются только вендоры, участвовавшие в 35% тестов и более, иначе можно получить «победителей» выигравших один единственный за всю свою «историю болезни» тест (а это гарантированный говно-маркетинг).
- Подробное объяснение методологии в этом видео и в этом документе.
- Если кто-то считает методики подсчёта результатов некорректными – добро пожаловать в комменты.
- Если кто-то в комментах будет возбухать «а, сам себя не похвалишь – никто не похвалит», отвечаю: предложите и обоснуйте свою методику.
Итак, анализируем результаты тестов за 2014 год и – бьют барабаны, замирает и перестаёт дышать и моргать восхищённая публика… – и получаем вот такую картинку мира:
