Топ-3, топ-2, топ-1 = топаем наверх, и вот мы там!

Если честно и откровенно, то с самого-самого начала моей нашей антивирусной деятельности мы я сразу поставил вполне себе всем нам достаточно амбициозную цель. Она была озвучена когда-то в 1992м году, когда мы с моим древне-давним другом-подельником Алексеем Николаевичем «Графом» Де-Мондериком стояли на остановке (где-то где Волоколамка мостом проходит над другой дорогой) и ждали трамвая номер 6 (к чему такие подробности? — да я и сам не знаю, просто всклерозилось). Так вот, глядя на мои тогдашние активности по поводу антивирусной темы – а я тогда впахивал по 12-14 часов в день («папанаработе» — так меня звали дети, а не просто «папа»). Так вот, глядя на это Граф спросил меня: а какая цель, зачем всё это и с таким упорством? Я ему ответил, что цель = сделать самый крутой в мире кибер-антивирус. Это было в 1992 году. Граф над этим хихикал, но работал. И оно получилось!

Как оно получалось? Тяжким трудом, изобретательством, да выживанием в те самые недобрые 199x-е года. Мы впахивали каждый по своему направлению. Я «долбал» новые вирусы, Граф кодил «морду» и редактор антивирусных баз, Вадим Богданов (джедай ассемблера) виртуозил разнообразный инструментарий для моих нужд. Да-да, нас в начале 90х было всего три человека! Потом четыре, затем пять… и – понеслось.

Но пора выруливать повествование в главное русло. Так какую я там цель поставил? Ага, самый крутой в природе антивирус. И тут вдруг случились самые первые в истории «антивирусные Олимпийские Игры». 1994 год, обширные тесты в Гамбургском университете. Победитель… Угадайте кто? :)

Да-да, с самого раннего начала – да! Мы сразу начали показывать самые лучшие результаты в различных независимых антивирусных тестах. Ура нам! (Граф, Андрей Крюков, я – слева направо).

// Режим «педант»: на самом деле были тестирования и ранее, но не «олимпийские», а по ограниченным сценариям. Как те или другие антивирусы детектят наиболее зловредных и поганых кибер-бацилл. Например, за месяц до упомянутого выше Гамбургского университета ICARO (Italian Computer Antivirus Research Organization — было такое) проводили тесты по паре супер-мутирующих вирусов. У нас, естественно, 100% детекта «живых» заражений. Само собой, оба виря были под MS-DOS, 16 бит, сейчас не актуальны совершенно.

Короче, с самого-самого начала своего существования наша команда, потом ставшая компанией – мы ставили перед собой амбициозную задачу: делать самый крутой антивирус в мире, с самым лучшим качеством защиты. Конечно, доверять заверениям вендоров пользователь никогда не спешил. Поэтому в параллели с развитием рынка антивирусов, появилась индустрия независимого тестирования этих самых антивирусных решений.

Но, начав участвовать вообще во всех тестах, мы столкнулись с неожиданной сложностью. Не секрет, что разные тестовые лаборатории используют разные методики тестирования и разные системы оценки, которые напрямую сравнивать сложно. Кроме того, всегда полезно ориентироваться на лучшие результаты в индустрии, в том числе и результаты конкурентов. Ведь полученный уровень детектирования или защиты в 99% можно трактовать как высокое достижение в случае сложных угроз, когда все конкуренты достигли кратно меньших результатов. Так и наоборот, этот результат может быть драматически низким показателем в случае, если большинство конкурентов показали 100%.

Именно поэтому внутри нашего подразделения по исследованию киберугроз начали применять агрегированную метрику под названием TOP3, которая объединила как абсолютные, так и относительные результаты во всех тестах для всех вендоров.

Сначала эта метрика существовала только в качестве нашего внутреннего индикатора и помогала нашим R&D-шникам становиться лучше, быстрее, сильнее. А вот в 2013-м неожиданно возникло прозрение – как могло статься, что до сих пор TOP3 не была использована публично? Как возник вопрос, так и родился ответ – срочно в паблик. Зачем? Да хотя бы для того, чтобы иметь возможность дать короткий ответ на вопрос «Докажите, что ваши технологии эффективны!». Да запросто!

Как мы всё это считаем?

Во-первых, учитываем все известные публичные тестовые площадки, проводившие исследование анти-зловредной защиты за календарный год. Во-вторых, учитываем весь спектр тестов выбранных площадок и всех участвовавших вендоров. В-третьих, нужно брать в расчёт: а) количество тестов, в которых вендор принял участие; б) % абсолютных побед и в) % призовых мест (TOP3). Метрику решили сделать трёхмерной для отображения всех трёх этих показателей.

Приведу самые важные критерии отбора для тестов, включенных в нашу метрику:

1) Тесты должны быть организованы лабораториями с мировым именем и многолетним опытом (нет никакого смысла тратить время на учёт периодически появляющихся и пропадающих «фирм однодневок»);
2) Тесты должны иметь прозрачную методику;
3) Должна обеспечиваться прозрачность результатов – вендоры должны иметь возможность проверить вменяемые их продуктам пропуски;
4) Для учёта в метрике допускаются как независимые тесты, так и тесты, заказанные кем либо из вендоров или других внешних заказчиков;
5) Учитываются как тесты, в которых участвовали продукты ЛК, так и те, где наших продуктов не было. Это позволяет утверждать прозрачность и объективность метрики, в неё не добавляются тесты по принципу «выгодности» для нас, но добавляются все технически качественные и прозрачные тесты;
6) Отчёты должны быть доступны на английском языке.

В течение всех этих лет методика расчёта была практически неизменной, т.е. вносились только небольшие коррективы для чуть более точного расчёта с максимальной непредвзятостью к результатам любого из участников.

Интерактивное представление результатов тестов по метрике TOP3 за последние годы доступно здесь. Вот, например, полный отчёт за за 2019. И да, вот этот огромный зелёный шар в правом верхнем углу – это мы! Что важно — мы этот почётный угол не покидали никогда.